Il patrono di Castel Vittorio è santo Stefano, festeggiato il 26 dicembre. La chiesa parrocchiale a lui dedicata, il cui impianto attuale risale al rifacimento barocco del 1764, presenta un bassorilievo di particolare interesse artistico, del XVI o XVII secolo, sul portale laterale; al suo interno è conservato un dipinto raffigurante la Crocifissione di Gesù del pittore Marcello Venusti, databile alla seconda metà del Cinquecento, e un crocifisso di Anton Maria Maragliano. Sul fianco destro dell'edificio si apre un portale sormontato da un piccolo porticato pensile del XV secolo.
Il borgo, dal nucleo storico ellittico, sorge arroccato in cima a un ripido colle, al termine di un sottile crinale boscoso che domina l'alta valle del torrente Nervia. In passato chiamato Castelfranco, ebbe numerosi contrasti documentati con il vicino comune di Pigna, legati ai diversi domini politici che amministravano i due paesi, l'uno schierato con Genova e l'altro incluso nei possedimenti del Ducato di Savoia: con la caduta di Napoleone e le disposizioni del congresso di Vienna del 1814, la municipalità passò al Regno di Sardegna, entrando nel mandamento di Dolceacqua.
