藤井彦四郎は、近江商人の三代目藤井善助の次男。後に分家して「小町糸」「スキー毛糸」の製造販売、積極的な海外視察などで成功しました。
屋敷地には、珍石、名木を配し、琵琶湖を模した池泉回遊式の大庭園（約25ｍプール8個分）と総ヒノキ造りの客殿と洋館、土蔵が立ち並んでいます。
滋賀県指定文化財（客殿）