Il patrono di Torella del Sannio è san Clemente martire, festeggiato il 15 ottobre.
Il paese è strutturato su due colli: il Colle, che rappresenta la parte nuova dell'abitato, e il Ciglione, dove si sviluppa la parte più antica, dominata dal castello e dalla chiesa. Il maniero si sviluppò come vera fortezza nel XIII secolo grazie agli Angioini, quando fu costruita anche la parrocchia di San Nicola; nel XV secolo fu ampliato dagli Aragonesi, per poi passare nel corso dei secoli a diversi baroni, fra cui Ferrante d'Aragona, i Francone, i Caracciolo e, nel Settecento, la famiglia Ciamarra. Il castello, a pianta rettangolare irregolare con muratura in mattoni, conserva tre torri circolari con merlature e coperture a cono; parte della struttura, ridotta in semirovina, è stata restaurata in tempi recenti da alcuni discendenti delle famiglie che nell'Ottocento se ne divisero la proprietà.