元々珊瑚寺は現在の和歌山市和田にあって、「三五寺」と号していた。天正13年（1585）の太田城落城ののち、紀伊国主となった秀吉の弟羽柴秀長に代わり、和歌山城代となった桑山重晴（のちに法印と呼ばれる）が三五寺を現在の地に移し、自らの菩提寺にするとともに寺名を「珊瑚寺」と改めた。「珊瑚寺」の寺号の由来は、桑山重晴寄進の珊瑚念珠に由来する。
ご本尊の観音像は、桑山法印が熊野山中の小さな祠（ほこら）で観音像を見つけ持ち帰り当寺に奉置したものと伝えられている。
また珊瑚寺は昔から安産祈願の寺として有名で、本堂には数多くの犬の張り子が奉納されている。そして境内の稲荷社には、今でも多くの犬の張り子や、素焼きの馬が供えられている。どうして馬が供えられるかというと、馬は草を食べるから、胎毒（クサ）も食べて欲しいとのわが子を思う親の気持ちである。
墓地には桑山法印の古い供養塔も残っている。
