七十八番札所から約7ｋｍ、歩いて約2時間の距離にあり、白峰宮と同じ境内にあります。崇徳上皇の神宮寺だったことが名前の由来です。