永富家は鎌倉時代から続く豪農です。１７世紀の永富家は大地主で、庄屋を兼ねておりました。寛文１２年（１６７２年）に脇坂氏が龍野の領主となってからは、藩にお金を融通したり年貢を大坂へ積み出すことを請け負うなど藩主も一目おく存在でした。
永富家の主屋は、文政５年（１８２２年）に完成しました。江戸時代後期の民家の代表的なものとして昭和３９年（１９６４年）に兵庫県文化財、昭和４２年（１９６７年）に国の重要文化財に指定されました。
当初屋敷の敷地は９３６坪（３，０００平方メートル）あまり、建物の合計は３１３坪で、主屋のほか長屋門、籾納屋、大蔵、乾蔵、内蔵、味噌蔵、東蔵のあわせて８棟及び建築当時の設計図―「絵図面（文政２年）」並びに「永富家住宅譜請帳１３冊」が国の重要文化財に指定されています。

※永富家住宅周辺道路は道幅が狭いので歩行者、自転車に注意して走行ください。