1261年(弘長元)、鎌倉幕府によって伊豆に流された日蓮上人は、川奈の漁師・船守弥三郎[ふなもりやさぶろう]によってこの岩屋にかくまわれたと伝わっている。日蓮は岩屋で約30日間を過ごし、その後伊東へ移ったという。岩屋の前に祖師堂が立ち、岩屋内にも祠[ほこら]がある。ここから川奈港までは桜並木が続いており、春には見事な桜のトンネルとなる。