開基の地は吹上で、寺名の由来となっている。寛永年初、頼宣の命のもと創建された。寛永9年（1632）には、先の国主浅野長晟正夫人が茶毘に付された地（現在地）に移建することになる。なお、夫人の遺骨は一時海善寺に埋納され、元和5年（1619）広島へ移葬されている。
吹上の地から移建された当時は、この地は周辺より高台で眺望良佳、松林があり、炎暑の頃は海風で寝心地満点だったといわれる。
昭和20年の空襲で寺は全焼する。その時先代住職は燃え上がる本堂に生身で突入、本尊と打鈴を運び出したという。現在安置されている聖観世音菩薩がまさしくそれである。名所図会には天平時代の僧行基の作と伝えている。
その後一時期は僅か六畳余のバラック小屋でこの観音様は住職と起居を共にしていたそうである。さらに都市計画事業のため寺域は当初の3分の1に減少する。
昭和40年に現住職の努力がみのり現本堂が再建され、以後平成期に入って山門、鐘桜等が順次完成する。
当寺には「幽霊の買い物」という民話が残っている。・・・老夫婦営む飴屋に、夜になると「飴を下さい」と、か細い声の女客が来る。女客は飴を持って吹上寺境内に姿を消す。不思議に思った主人はある夜、女の後を追う。すると女は境内の新墓の前までいくとスーと姿を消してしまったのである。これに驚いた主人は住職にこのことを話し、その墓を掘り返してみることになる。掘り返すと、そこには泣く赤子を抱いた女の死体と飴の包み紙がみつかったのである。・・・
