銀杏屋は長崎街道の黒崎宿と木屋瀬宿との間の「立場茶屋」として、諸大名はじめ、長崎奉行、巡見使、奉幣使らが休憩した「御小休所」です。庭前に銀杏の大木があるため、「銀杏屋敷」、「銀杏の木」とも呼ばれています。記録によると、主屋の建築時期は天保7年（1836）10月の火災による焼失直後から翌8年にかけてです。母屋は一部2階建で、大名などが休憩した「ざしき」は「上段の間」をもつ格式高い構造になっています。この地方を測量した伊能忠敬や『薩陽往返記事』の著者高木善助らがここで昼食をとったとされています。