El patrón de Castel Vittorio es san Esteban, festejado el 26 de diciembre. La iglesia parroquial a él dedicada, cuya planta actual se remonta a la reconstrucción barroca de 1764, presenta un bajorrelieve de particular interés artístico, del siglo XVI o XVII, en el portal lateral; en su interior se conserva una pintura que representa la Crucifixión de Jesús del pintor Marcello Venusti, fechable en la segunda mitad del siglo XVI, y un crucifijo de Anton Maria Maragliano. En el lado derecho del edificio se abre un portal coronado por un pequeño pórtico colgante del siglo XV.
El pueblo, de núcleo histórico elíptico, se alza encaramado en lo alto de una empinada colina, al final de una estrecha cresta boscosa que domina el alto valle del torrente Nervia. Antiguamente llamado Castelfranco, tuvo numerosos conflictos documentados con el vecino municipio de Pigna, ligados a los distintos dominios políticos que administraban ambos pueblos, uno alineado con Génova y el otro incluido en los dominios del Ducado de Saboya: con la caída de Napoleón y las disposiciones del Congreso de Viena de 1814, el municipio pasó al Reino de Cerdeña, integrándose en el distrito de Dolceacqua.