Il patrono di Castelvenere è san Barbato, vescovo di Benevento, festeggiato il 19 febbraio. Secondo la tradizione, il santo nacque qui nel 602. Una seconda festa in suo onore, detta «San Barbato di penitenza», si tiene l'8 maggio.
Il paese conserva la Torre Angioina e la Torre Venere, e si affaccia sul Parco Nazionale del Matese.