開山は室町時代末期と伝えられ、約450年間の時を経て今に至っている。御本尊阿弥陀仏立像や脇士の観音、勢至菩薩像は共に安阿弥の作で、現在も本堂に安置されている。
昭和20年、空襲により寺は全焼する。空襲の中、先代住職は降り注ぐ焼夷弾の下、この三仏像を境内の井戸に吊り下げ、上から布団をかぶせて火を防いだという。ただ、布団が燃え仏像にも少し火が及んだため多少の焼損を受けたので戦後、修理されている。また、什物として善導大師自筆の画像があり、第107代御陽成天皇の尊崇があったとのことだが、こちらの方は残念ながら空襲で焼失してしまった。
戦後の区画整理で寺域は減少し、さらに境内と墓地とが道路を隔てて東西に分断されてしまった。しかし、かつて信州善光寺末寺として武士・町民を問わず信仰され、「常行殿」という栄誉称号が今も使われている古刹である。今の本堂と庫裡は昭和52年に、山門は昭和55年に新築されたものである。
墓所には、昭和60年4月和歌山市指定史跡になっている「西岸寺の板碑」がある。田辺藩主安藤帯刀の嫡子、安藤彦四郎重能（しげよし）が元和元年（1615）の大坂夏の陣に戦死したのを供養するため、弟・安藤彦兵衛直重が寛永年間初期に建立したものである。当初は大阪一心寺にあったのが移設された。元来、西岸寺が安藤家の菩提寺であったからであろう。
またここには川端龍子の墓がある。龍子は和歌山出身の日本画の大家である。昭和34年に文化勲章授章、41年には和歌山市名誉市民となり、同年80歳で没した。生涯、金・権力に媚びることなく、在野精神を貫いた人物であった。墓碑銘は龍子の自筆である。
