Da lontano Serra San Quirico sembra una nave: un vascello di pietra con la prua sulla valle dell'Esino, secondo l'immagine che si attribuisce ad Annibal Caro, il letterato che volgarizzò l'Eneide e che qui soggiornò a lungo — pur scrivendo sul paese lettere di tono satirico e burlesco. La forma viene dalla cittadella che la Chiesa fece costruire nel Trecento: nel 1374 furono finiti il Cassero, la torre di avvistamento e difesa, e la cinta muraria rinforzata da dodici torri. Lungo quelle mura corrono le Copertelle, passaggi coperti che sono la cosa più caratteristica del centro storico. Le difese, però, non bastarono: nel 1444 Francesco Sforza espugnò la città.
Per secoli, qui, si è lavorato il salnitro. Dal Quattrocento molti serrani lo raffinavano per farne polvere da sparo, e il mestiere è durato fin oltre la proclamazione del Regno d'Italia: al castello di Sasso c'era una buona fabbrica di polvere pirica. Nel Seicento, quando la riforma dello Stato Pontificio revocò gli statuti comunali e finì il tempo delle libertà, giù a valle, vicino all'Esino, fu eretta la chiesetta della Madonna di Loreto per accogliere i viandanti che stavano per attraversare la Gola della Rossa, allora piena di briganti: intorno a quella chiesa è cresciuta la contrada che oggi si chiama Borgo Stazione, e nel 1865 ci è passato il primo treno della Ancona-Roma. Nella chiesa di Santa Lucia, barocca, con il campanile che finisce a bulbo, ci sono le Storie di Santa Lucia di Pasqualino de Rossi, una tela attribuita a Guido Reni e una Madonna con santi del Cavalier d'Arpino.