Von weitem sieht Serra San Quirico aus wie ein Schiff: ein steinernes Fahrzeug mit dem Bug über dem Tal des Esino, nach dem Bild, das man Annibal Caro zuschreibt, dem Gelehrten, der die Aeneis ins Italienische brachte und der sich hier lange aufhielt — wobei er über den Ort Briefe in satirischem und burleskem Ton schrieb. Die Form kommt von der Zitadelle, die die Kirche im vierzehnten Jahrhundert bauen ließ: im Jahr 1374 wurden der Cassero, der Wach- und Wehrturm, und der von zwölf Türmen verstärkte Mauerring fertig. Entlang jener Mauern laufen die Copertelle, überdeckte Gänge, die das Merkwürdigste des alten Kerns sind. Die Befestigungen reichten allerdings nicht: 1444 nahm Francesco Sforza die Stadt im Sturm.
Jahrhundertelang hat man hier Salpeter verarbeitet. Vom fünfzehnten Jahrhundert an raffinierten ihn viele Serraner zu Schießpulver, und das Gewerbe dauerte weit über die Ausrufung des Königreichs Italien hinaus: bei der Burg von Sasso gab es eine gute Pulvermühle. Im siebzehnten Jahrhundert, als die Reform des Kirchenstaats die Stadtsatzungen aufhob und die Zeit der kommunalen Freiheiten endete, wurde unten im Tal, nahe dem Esino, die Kirche der Madonna di Loreto errichtet, um die Reisenden aufzunehmen, die sich anschickten, die Gola della Rossa zu durchqueren, damals voller Räuber: um jene Kirche wuchs das Viertel, das heute Borgo Stazione heißt, und 1865 fuhr dort der erste Zug der Strecke Ancona-Rom durch. In der barocken Kirche Santa Lucia, deren Glockenturm in einer Zwiebel endet, hängen die Geschichten der heiligen Luzia von Pasqualino de Rossi, ein Guido Reni zugeschriebenes Gemälde und eine Madonna mit Heiligen des Cavalier d'Arpino.