El patrón de Oliveri es san José, festejado el segundo domingo de octubre; la iglesia a él dedicada se alza en el pueblo.
El primero en transmitir el nombre del pueblo, entonces Labiri, fue el geógrafo árabe Edrisi, encargado por el Gran Conde Roger, que lo describió como «una hermosa y graciosa aldea, con un gran castillo a orillas del mar, casas, buenas tierras de cultivo, arroyos perennes en cuyas orillas se habían instalado algunos molinos y un hermoso puerto donde se practicaba abundante pesca de atún». El nombre actual del pueblo procede en cambio del condotiero Carlo Oliveris, cuya cortesía quisieron recordar los habitantes. El castillo, de origen árabe y del siglo XI, fue en 1360 separado de la concesión hecha a los monjes por el rey Fernando de Aragón, quien lo entregó, junto con el feudo y la almadraba, a su segundo hijo. Entre los demás edificios religiosos del pueblo se encuentra la iglesia de la Natividad.
