Il patrono di Colletorto è san Giovanni Battista, festeggiato il 29 agosto nella chiesa madre a lui dedicata: ricostruita nel Settecento, conserva solo l'antico campanile della fabbrica precedente, mentre sull'architrave del portale, finemente lavorato, è raffigurata la testa decapitata del santo.
Il paese, menzionato per la prima volta come Collis Tortis nel 1241 nello Statuto di riparazione dei castelli di Federico II di Svevia, e poi come Collis Tortus nei registri angioini del 1320, è dominato dalla Torre Angioina: alta 25 metri, a pianta cilindrica, riedificata su una fortificazione normanna, la sua costruzione è tradizionalmente attribuita al governo della regina Giovanna I di Napoli, sebbene non esistano documenti che confermino tale ipotesi. La torre, restaurata dopo il terremoto del 2002, domina insieme al palazzo marchesale e alla chiesa madre il culmine del centro storico, con vista sulla montagna del Gargano, il lago di Lesina, il mare Adriatico e le isole Tremiti.