Il patrono di Carovilli è santo Stefano del Lupo, festeggiato il 19 luglio. Fra le tradizioni più sentite del paese figura la Tresca, rievocazione storica dell'antica trebbiatura del grano con i cavalli, che si svolge la terza domenica di agosto; nella prima settimana di settembre si tiene invece una fiera dedicata al santo omonimo. Il 31 agosto e il 1º settembre si festeggia San Domenico con la caratteristica «barracca», mentre il 26 dicembre, in località Fonte Curelli, si allestisce un presepe vivente.
Il paese conserva testimonianze della propria storia nella chiesa di Santa Maria Assunta, in quella di San Domenico e di San Nicola, nel Castello di Carovilli e nell'area archeologica di Monte Ferrante.
