400年前大坂城の大改修を行う際、石垣に小豆島から切り出された巨石が数多く使われました。小豆島には採石しやすい山麓に良質の花崗岩があり、海上輸送で運ばれました。
大坂城残石記念公園では切り出されながらも、積み出されずに残った巨石（残念石・残石）を見ることができます。その他、園内には資料館、復元された石工小屋、石の特産品を揃えた物産館、公園広場などがあり、島の歴史・観光名所として賑わっています。