Castelraimondo porte le nom de l'homme qui signa le permis de construire. Le Castrum Raymundi s'appelle ainsi d'après le recteur d'alors de la Marche d'Ancône, Raimondo di Attone da Aspet, légat et neveu du pape Clément V, qui concéda l'édification du château au seigneur de Camerino Berardo Ier Da Varano et au capitaine du peuple Manno de Labranca: c'est ce que dit un parchemin daté du premier décembre 1311 et conservé aux Archives d'État de Florence. Le château n'était pas un caprice. Il faisait partie de l'Intagliata, une ligne de tours, de fossés et de murailles que les Da Varano avaient fait bâtir pour défendre Camerino, du parti guelfe, sur un tronçon de douze kilomètres de Pioraco à Torre Beregna, pendant les guerres avec les communes gibelines voisines, Matelica et San Severino Marche. Le morceau qui reste est le Cassero, la tour de guet avancée haute de trente-huit mètres, élevée sans doute entre 1311 et 1318, à l'origine crénelée et divisée en trois étages: c'était la partie la plus importante d'un château ceint de deux fossés et d'au moins onze bastions, et il a fini sur les armes de la commune.
Le long de la même Intagliata se dresse le château de Lanciano, qui était une autre forteresse des Da Varano et que Giovanna Malatesta, femme de Giulio Cesare Da Varano, transforma en 1489 en résidence de la Renaissance; au dix-huitième siècle il fut acheté par le marquis Alessandro Bandini, qui le restaura avec l'aide de l'architecte de Camerino Giovanni Antinori. Au hameau de Crispiero est né Nazareno Strampelli, le généticien et agronome qui a changé le blé italien. L'église de San Biagio est documentée depuis 1330: après le tremblement de terre de 1799 sa façade fut refaite, et après un incendie survenu en 1906 il fallut en refaire l'intérieur. Aujourd'hui San Biagio, le Cassero et la mairie sont tous les trois inutilisables à cause du séisme de 2016 — c'est-à-dire que les trois choses qui définissent le bourg sont fermées en même temps. Ce qui se refait chaque année, en revanche, c'est l'infiorata de la Fête-Dieu: les associations du village composent les tapis de fleurs tout au long de la grand-rue dans la nuit du samedi au dimanche, et le lundi matin on les défait.