木下家は江戸期から始まり、「堺屋」の屋号で代々酒造業を営みながら大きく栄えた旧家です。明治41年完成の「離れ座敷」は、屋久杉の一枚板で造られた欄間や紫檀の床框などが見られ、贅沢な造りとなっています。当時は主屋の離れ座敷として貴賓客のための応接や宿泊に使われていました。現在は市の文化財に指定され一般に公開されています。