伊東氏１４代の居城であった飫肥城には、石垣や大手門前の石段などが１６９３年の改築時のまま残っています。大手門と松尾の丸は昭和５４年に樹齢１００年以上の飫肥杉を使って復元されたものです。今でも当時の面影が残っています。また現在は飫肥城跡に「飫肥小学校」が建っています。