Schutzpatronin von Raffadali ist die heilige Oliva, gefeiert am Montag nach dem zweiten Sonntag im Juli. Die heutige Hauptkirche im Ortszentrum wurde ab 1507 erbaut und der Madonna degli Infermi geweiht: 1608 wurden Pfarrei und Erzpriesterei der heiligen Oliva dorthin von der alten, ihr geweihten und heute verschwundenen Hauptkirche verlegt. Dort werden noch der Sarkophag von Raffadali mit der Darstellung des Raubes der Proserpina sowie eine hölzerne Statue der heiligen Maria der Kranken mit Kind aus dem 16. Jahrhundert aufbewahrt.
Im Mittelalter als arabischer Weiler entstanden, wurde Raffadali nach der normannischen Eroberung Lehen der Adelsfamilie Montaperto; 1507 erhielt Pietro Montaperto vom König Ferdinand das „ius populandi“ zur Erweiterung der Siedlung und begann mit der Befestigung der Burg und dem Bau der Hauptkirche. Im 19. Jahrhundert war der Ort Sitz eines Bezirks des Königreichs beider Sizilien, im 20. Jahrhundert wurde er zu einem der aktivsten Zentren der sizilianischen Bauernbewegung.
