相良家の武家屋敷は、文久2年の火災、明治10年の西南の役において、殆ど消滅しました。この屋敷は歴代藩主の御仮屋を明治12年に移して住居としたものです。
又、正面の堀合門（市指定有形文化財）は人吉城の武者返し石垣にあったもので、現存している唯一のものです。