La patrona di Raffadali è sant'Oliva, festeggiata il lunedì successivo alla seconda domenica di luglio. La chiesa madre attuale, situata al centro del paese, fu edificata a partire dal 1507 e dedicata alla Madonna degli Infermi: vi furono trasferite nel 1608 la parrocchia e l'arcipretura di Santa Oliva, provenienti dall'antica chiesa madre a lei dedicata, oggi scomparsa. Vi si conservano ancora il sarcofago di Raffadali, raffigurante il ratto di Proserpina, e una statua lignea cinquecentesca di Maria Santissima degli Infermi con Bambino.
Sorta in epoca medievale come casale arabo, Raffadali divenne, dopo la conquista normanna, feudo della nobile famiglia dei Montaperto; nel 1507 Pietro Montaperto ottenne dal re Ferdinando lo «ius populandi» per l'espansione dell'abitato, avviando i lavori di consolidamento del castello e di costruzione della chiesa madre. Nell'Ottocento il paese fu capoluogo di circondario del Regno delle Due Sicilie, e nel Novecento divenne uno dei centri più attivi del movimento contadino siciliano.
