Le saint patron d'Oliveri est saint Joseph, fêté le deuxième dimanche d'octobre ; l'église qui lui est dédiée se dresse dans le bourg.
Le premier à transmettre le nom du bourg, alors Labiri, fut le géographe arabe Edrisi, mandaté par le Grand Comte Roger, qui le décrivit comme « un beau et gracieux casale, avec un grand château au bord de la mer, des maisons, de bonnes terres à cultiver, des ruisseaux pérennes sur les rives desquels étaient installés des moulins, et un beau port où l'on pratiquait une abondante pêche au thon ». Le nom actuel du bourg vient en revanche du condottiere Carlo Oliveris, dont les habitants voulurent rappeler la courtoisie. Le château, d'origine arabe et datant du XIe siècle, fut en 1360 détaché de la concession faite aux moines par le roi Ferdinand d'Aragon, qui en fit don, avec le fief et la pêcherie de thon, à son second fils. Parmi les autres édifices religieux du bourg figure l'église de la Nativité.
