Il patrono di Oliveri è san Giuseppe, festeggiato la seconda domenica di ottobre; la chiesa a lui dedicata sorge nel paese.
Il primo a tramandare il nome del paese, allora Labiri, fu il geografo arabo Edrisi, incaricato dal Gran Conte Ruggero, che lo descrisse come «un bello e grazioso casale, con un grande castello in riva al mare, delle case, delle buone terre da seminare, dei ruscelli perenni sulle sponde dei quali erano impiantati alcuni mulini e con un bel porto nel quale si faceva copiosa pesca di tonno». L'attuale denominazione del paese deriva invece dal condottiero Carlo Oliveris, del quale gli abitanti vollero ricordare la cortesia. Il castello, di origine araba e risalente all'XI secolo, fu nel 1360 staccato dalla concessione fatta ai monaci dal re Ferdinando d'Aragona, che ne fece dono, insieme al feudo e alla tonnara, al proprio secondogenito. Fra gli altri edifici religiosi del paese si trova la chiesa della Natività.
