標高32.5ｍの番所山一帯は、田辺湾の南端に位置し、円月島や塔島を望む風光明媚な自然公園です。
その昔、寛永20年（1643年）この地に遠見番所が置かれ、田辺与力36人が交代で異国船の監視に当たったことから「番所山」と呼ばれるようになりました。山頂には「南方熊楠記念館」と、昭和天皇の御製「雨にけふる神島を見て紀伊の国の生みし南方熊楠を思ふ」の碑が建てられています。