園のある辺り一帯は、江戸時代の紀伊家と井伊家の屋敷境にあり、この境が谷であったことと紀伊家屋敷内に霊水（清水）が湧き出ていたことから「清水谷」と呼ばれていました。「清水谷公園」の名は、この地名から付けられました。園内には池を配した庭園があり、かつてこの付近で暗殺された大久保利通の哀悼碑が立つ。