霧島岑神社は高千穂峰中腹の瀬多尾（せだお）の高地に鎮座していた。
明治6年（1873年）霧島六社権現の一つであった夷守神社を合祀した後、夷守神社跡地に遷座し現在に至る