Le saint patron de Castelsardo est saint Antoine abbé, fêté le 17 janvier dans la concathédrale qui lui est dédiée, laquelle conserve le retable du Maître de Castelsardo et un clocher culminant en une coupole en majolique de diverses couleurs ; ses cryptes abritent le musée consacré à ce même Maître.
Le village fut fondé en 1102 par la famille génoise des Doria, qui le nomma Castelgenovese : selon l'historien du XVIe siècle Giovanni Francesco Fara, et l'inscription sur l'ancienne cloche de la mairie, la fondation du château remonterait traditionnellement à cette date, bien que les fouilles de l'Université de Sassari, menées par le professeur Marco Milanese, aient révisé cette chronologie. À quelques brèves interruptions près, Castelsardo fut le siège des Doria en Sardaigne durant les luttes pour la possession de l'île : Eleonora d'Arborea, épouse de Brancaleone Doria, y vécut pendant des années, avant que les Aragonais ne sortent finalement vainqueurs des conflits, au prix fort en vies, en argent et en temps. Le territoire communal abrite aussi le Rocher de l'Éléphant, un bloc de trachyte couleur rouille détaché dans l'Antiquité du mont Castellazzu et façonné par l'érosion, à l'intérieur duquel une domus de janas conserve le relief d'une tête de taureau.
