Schutzpatron von Castelsardo ist der heilige Antonius Abbas, gefeiert am 17. Januar in der ihm geweihten Konkathedrale, die das Altarbild des Meisters von Castelsardo und einen Glockenturm bewahrt, der in einer mehrfarbigen Majolikakuppel gipfelt; in ihren Krypten befindet sich das demselben Meister gewidmete Museum.
Der Ort wurde 1102 von der genuesischen Familie Doria gegründet, die ihn Castelgenovese nannte: Laut dem Historiker Giovanni Francesco Fara aus dem 16. Jahrhundert und der Inschrift auf der alten Glocke des Rathauses geht die Gründung der Burg traditionell auf dieses Jahr zurück, wobei Ausgrabungen der Universität Sassari unter Professor Marco Milanese diese Chronologie revidiert haben. Mit einigen kurzen Unterbrechungen war Castelsardo während der Kämpfe um den Besitz der Insel Sitz der Doria auf Sardinien: Eleonora d'Arborea, Gattin von Brancaleone Doria, lebte dort jahrelang, bevor die Aragonesen schließlich siegreich aus den Konflikten hervorgingen, nach einem hohen Preis an Menschenleben, Geld und Zeit. Im Gemeindegebiet befindet sich auch der Elefantenfelsen, ein rostfarbener Trachytblock, der sich in der Antike vom Monte Castellazzu löste und durch Verwitterung geformt wurde und in dem eine domus de janas mit dem Relief eines Stierkopfes zu finden ist.
