創建は承和9年（842）。空海の母方の甥、円珍（智證大師）の開基である。所は讃岐国（香川県）屋島壇の浦州崎の地。貞観7年（865）には清和天皇勅願寺、つまり官立寺院となった。だが、文治元年（1185）、源平屋島の合戦のため本堂を残して寺は焼失した。
その後、乾元元年（1302）に紀州和歌浦芦辺の地（現和歌浦羅漢寺付近）に移建され芦辺寺となってから、和歌山での歴史が始まった。天正年間の紀州兵乱を避けて、寺は山東荘黒岩村（山東黒岩）に移転。慶長13年（1608）、浅野氏国守時代になってようやく現在地に落ち着いた。その当時の寺域は広い国有地だったといわれる。紀州藩時代に入って初代藩主頼宣の帰依篤く、毘沙門天像や山門等の造築の寄進を受けると共に、藩の護邦殿とされた。
明治37年（1904）には本堂が県内初の国宝指定を受ける。この本堂は昭和11年の大修理時の調査で、慶長年間の浅野氏により空海開基楊柳山宝光寺（既に廃寺）から移築されたことが確認された。さらに野棟木に慶長18年（1613）の墨書があり、この年に現在地に移築されたものと推定された。
しかし昭和20年の空襲で、寺は本堂の礎石だけを残して全焼する。円珍作の不動明王も同じ運命となってしまった。
平成8年、現住職の努力がみのり、焼け残った礎石の上に往時国宝であったのと同じに本堂は再建された。ただ同時再建の山門は頼宣寄進の規模よりひと回り小さくなった。創建以来1100年以上の歴史の重みを感じさせる寺である
