創立年不明。文治５年（1189年）源義経は、兄である頼朝に自害させられ、弁慶の首とともにこの地に辿り着きました。白旗が源氏の旗であったことから、義経は白旗明神として祀られ、後に白旗神社と呼ばれるようになりました。現在でも義経の鎮霊碑が見られます。また、触るだけで元気になれると言われている弁慶の力石がありパワースポットとして知られています。