維新の三傑と称えられる木戸孝允（桂小五郎）が死後、その遺産を糸米村に寄付し、村民が木戸公の遺徳を称えて建立された。