明和５年（１７６８）、萩藩御用達として栄えた豪商・熊谷五右衛門芳充が建てたもので、国の重要文化財に指定されています。中には熊谷家代々の当主が収集した美術品や文化資料が展示してあります。