江戸初期、高松藩主・松平頼重が、京都から猪熊地倉を招き白鳥神社を再興した時、住居として建てられました。幕府の朱印状により保護をうけた同邸には、諸藩の大名や皇族の書画調度品、古文書など約300点が保存されています。