平安時代から太平洋側の奥州と日本海側の羽州とを結ぶ重要な街道にある関所でした。昔この山に旅人を食べる鬼が住んでいたが、双鳥に姿を変えた観音さまが現れ、山鬼がいる時は「有耶」いない時は「無耶」と鳴いて旅人に知らせたという伝説からこの名が付いたと言われています。