La patronne de Raffadali est sainte Olive, fêtée le lundi suivant le deuxième dimanche de juillet. L'actuelle église mère, au centre du bourg, fut édifiée à partir de 1507 et dédiée à la Madone des Malades : la paroisse et l'archiprêtré de Santa Oliva y furent transférés en 1608 depuis l'ancienne église mère qui lui était dédiée, aujourd'hui disparue. On y conserve encore le sarcophage de Raffadali, représentant l'enlèvement de Proserpine, et une statue en bois du XVIe siècle de la Vierge Marie des Malades avec l'Enfant.
Née à l'époque médiévale comme hameau arabe, Raffadali devint, après la conquête normande, fief de la noble famille Montaperto ; en 1507, Pietro Montaperto obtint du roi Ferdinand le « ius populandi » pour l'expansion de l'agglomération, entamant les travaux de consolidation du château et de construction de l'église mère. Au XIXe siècle, le bourg fut chef-lieu d'arrondissement du royaume des Deux-Siciles, et au XXe siècle il devint l'un des centres les plus actifs du mouvement paysan sicilien.