入船山紀念館是以舊日本海軍吳鎮守府司令官官邸為中心，周圍包括鄉土館、舊吳海軍工廠的鐘塔等建築，都是可以追溯吳市歷史的重要設施，與相鄰的吳市立美術館共同構成入船山公園文化區域。
舊吳鎮守府司令官官邸依照於1905年發現的建築設計資料重新修建，在恢復原有的面貌後，1998年12月被指定為國家重要文化財產。
平房木造建築的司令官官邸，是由東側的西式建築及西側的日式建築組合而成。
在玄關大門上方及左右兩側，都有鑲嵌著精美的英國製彩繪玻璃，牆壁與天花板則貼上在日本全國也極為稀少的金唐紙※，室內充滿著濃厚的浪漫氣氛。
※「金唐紙」為日本傳統工藝品，源自中世紀歐洲的室內壁紙裝潢，或是在皮革工藝品上面，點綴一些精緻圖案的皮革製品，日本的金唐紙則是以和紙的材料加工製造而成。