後白河法皇の第二皇子、以仁王の遺子、豊津宮が近侍長谷部信連に守護され住んでいました。１１９４（建久４）年、源頼朝に派遣された梶原景季、仁田四郎が豊津宮を慰めるためつくられた庭園です。その後、１３３８（延元３）年、大智禅師を迎えて長谷部信雄により開かれたのが伝来寺です。