Il patrono di Olivetta San Michele è sant'Antonio da Padova, festeggiato il 13 giugno, nella chiesa a lui dedicata.
Fu attorno all'anno Mille che si consolidò il potere feudale sul territorio olivettese, legato al castello e alla comunità di Penna, borgo medievale che, dopo il trattato di pace di Parigi del 1947, passò alla giurisdizione francese, nel comune di Breglio, insieme all'altra frazione olivettese di Libri. Il territorio fu assegnato ai monaci benedettini dell'abbazia di Lerino, che vi diffusero la coltivazione dell'ulivo, in particolare della varietà taggiasca, favorendo la costruzione di frantoi e nuovi insediamenti lungo i corsi d'acqua. Nel 1451, una banda di circa 150 briganti, guidata da Brondetto di Sospello e forse al soldo del duca di Savoia, riuscì a espugnare il castello e il borgo di Penna; l'anno successivo, il signore di Dolceacqua, Enrichetto Doria, riconquistò il maniero per conto della Repubblica di Genova. Il paese conserva ancora oggi resti di castello e insediamenti rurali di epoca medievale.
