El patrono de Castelsardo es san Antonio Abad, festejado el 17 de enero en la concatedral a él dedicada, que custodia el retablo del Maestro de Castelsardo y un campanario rematado en una cúpula de mayólica de varios colores; en sus criptas se aloja el museo dedicado al mismo Maestro.
El pueblo fue fundado en 1102 por la familia genovesa de los Doria, que lo llamó Castelgenovese: según el historiador del siglo XVI Giovanni Francesco Fara, y la inscripción en la antigua campana del ayuntamiento, la fundación del castillo se remontaría a esa fecha, aunque las excavaciones de la Universidad de Sassari, dirigidas por el profesor Marco Milanese, han revisado esta cronología. Con algunas breves interrupciones, Castelsardo fue sede de los Doria en Cerdeña durante las luchas por la posesión de la isla: allí vivió durante años Eleonora de Arborea, esposa de Brancaleone Doria, antes de que los aragoneses salieran finalmente victoriosos de los conflictos, tras un alto precio en vidas, dinero y tiempo. En el territorio municipal se encuentra también la Roca del Elefante, un bloque de traquita color óxido desprendido en la antigüedad del monte Castellazzu y modelado por la erosión, en cuyo interior hay una domus de janas con el relieve de una cabeza de toro.
