幕末の砲術家として有名な高島秋帆の別邸です。 高島家は代々町年寄を世襲する名家でした。秋帆の父、高島四郎兵衛茂紀が、東小島町に建てたのがこの別邸です。庭園にたつ松の老木から「齢松軒（れいしょうけん）」、雨の日には小島川のせせらぎが聞こえたことから「雨声楼（うせいろう）」等と呼ばれました。 高島家は大村町（現在の万才町）に本邸がありましたが、1838年の大火で焼失し、以降この別邸に住んでいました。 秋帆は荻野（おぎの）流砲術を父に学び、オランダから大砲・弾丸・銃などの武器を購入し、西洋砲術を研究しました。そして、わが国兵制改革の必要性を訴えた上申が、老中水野忠邦の目にとまります。 1841年、徳丸原（とくまるがはら、現在の東京都板橋区高島平）で洋式の砲術演習が実施され、秋帆は幕府から褒賞を受けますが、翌年、無実の罪で捕えられます。12年後釈放されたのち、国防に尽くしました。 秋帆はこの別邸で、徳丸原での砲術演習から捕えられるまでの間を過ごしました。 1945年、雨声楼は原爆で大破し破却されましたが、跡地には大砲の着弾の跡がみられる砲痕石・石垣・土塀・井戸・常夜燈が残っています。