園名の由来はこの土地が旧西郷邸（西郷隆盛の弟で明治期の政治家・軍人であった西郷従道(じゅうどう)の敷地）の北東部分にあたり、付近の人々が「西郷山」という通称で親しまれていたところから決まりました。