１９６４年開催の東京オリンピックの会場のひとつ、武道の競技場として建設されました。その独特な八角形の意匠は法隆寺の夢殿をモデルにしたと言われています。建設された当初は「日本の武道の聖地」という意味合いが強かったものの、１９６５年以降、「館内の日の丸は降ろさない」という条件の下で各種コンサートやイベントなども行われるようになりました。桜の名所としても有名です。