７５１年（天平勝宝３年）藤原皆足姫が観音像を安置し、７７７年（宝亀８年）、安隆上人により犀戴寺として建立されました。１２２１年（承久３年）には西大寺と改称されましたが、現在でも、境内近くの公園に犀の像が置かれています。
日本三大奇祭の一つ西大寺会陽（えよう）は、毎年2月の第3土曜日の夜に、西大寺観音院の境内で行われる西大寺会陽（はだかまつり）は、岩手県黒石寺の黒石裸祭（蘇民祭）、大阪市四天王寺のどやどやと並び日本三大奇祭として知られています。真夜中に御福窓から住職によって投下される2本の宝木（しんぎ）をめぐり数千の裸群が激しい争奪戦を繰り広げます。