安養寺は時宗の開祖である一遍上人の草創で、その由縁で後に藤沢清浄光寺の末寺となる。一遍上人が当時の紀州雑賀荘・北島村の南、和田浦の地にあった草庵に逗留、念仏弘通（ぐづう）に専念したのが当寺の始まりである。その後、明応期（1492〜1500）に小野町へ。さらに慶長年間（1596〜1614）に、桑山氏が現在地に移建する。
その当時和田浦にあった「雄の天神社」も共に移され、後世にはその社地も安養寺の境内地となる。その天神社は当寺本堂の西の丘に社殿があった。広い境内には本堂、観音堂、僧坊の他、金比羅、稲荷、妙見などの建物があったようである。
昭和20年の空襲で、当時の住職土岐妙信尼は空襲下にも本堂に座して不動する。遂には寺とともに炎に包まれる。
戦後の区画整理では、紀ノ川架橋に伴う道路整備などのため、寺域のほとんどがなくなってしまう。
昭和27年、戦前から寺守として住んでいた素人大工の高橋平右衛門が本堂再建に力を尽くす。海南市の日限地蔵尊境内の一堂を貰い受け、独力で解体。連日、その材を荷車により自力で運び、組み立てた。それが今の本堂である。
焼失前の本尊には安阿弥作の阿弥陀如来だが、現在一時的に大日如来を安置。馬頭観音は画像になっている。境内東側に石鳥居と狗犬像がある。かつての天神社の名残である。本堂に向き合って北向きに日願地蔵大菩薩が立っている。今も庶民の息災祈願の線香が絶えないでいる。
