Il patrono di Ortovero è san Silvestro, festeggiato il 31 dicembre, nella chiesa parrocchiale a lui dedicata, fuori dal centro storico: di origine medievale, fu oggetto di successivi interventi strutturali tra il XVII e il XVIII secolo e venne restaurata nel XIX secolo, quando ricevette decorazioni di gusto romanico.
Nel medioevo, il borgo di Ortovero e il suo castello furono un importante caposaldo dei marchesi di Clavesana contro il crescente potere del vicino Comune di Albenga: già nel 1242 gli abitanti tentarono un primo distacco organizzandosi in Universitas e Comunitas, senza però riuscirci, con il risultato di inasprire i rapporti con i marchesi. Il passaggio di proprietà del castello, del feudo e del territorio dai Clavesana al Comune di Albenga avvenne nel corso del 1341, e da allora Ortovero ne seguì le sorti, e parallelamente quelle della Repubblica di Genova, fino alla dominazione napoleonica di fine Settecento. Nella frazione di Pogli, borgo fortificato fondato nel 1288, un museo dedicato alla storia locale, l'Historia Pulei, è stato istituito nel 2020.
