Il castello sul mare, piantato nell'acqua dal 1551 contro i corsari, è la firma di Rapallo, e ha una data che lo spiega: il quattro luglio 1549, all'alba, la flotta del pirata Dragut entrò nel golfo e sbarcò in tre punti. Un centinaio di rapallesi finirono schiavi, il prevosto di Santo Stefano fu ucciso, e mentre da Genova i soccorsi arrivavano tardi dai borghi vicini non venne nessuno: vennero dopo, a rovistare fra i resti. Otto anni più tardi la Madonna apparve a un contadino sul monte Letho, e la città le costruì il santuario di Montallegro, dove la funivia sale in otto minuti. Alla sua protezione i rapallesi attribuirono anche il fatto che la peste di fine Cinquecento, che in Liguria fece centomila morti, qui lasciò due soli casi sospetti; nel contagio successivo il capitano, meno mistico, chiuse ogni scambio con Genova, Recco, Portofino, Santa Margherita e Chiavari finché non fu passato.
Poi venne la stagione del lungomare liberty. Qui Nietzsche scrisse nel gennaio 1883 la prima parte di Così parlò Zarathustra; Hemingway mise il suo soggiorno in un racconto, Gatto sotto la pioggia; Ezra Pound ci visse per anni, e l'ultimo re di Lituania ci venne a morire. Nel 1920, a villa Spinola, l'Italia e il Regno dei serbi, croati e sloveni firmarono il trattato che porta il nome della città, e due anni dopo ci tornarono la Germania di Weimar e l'Unione Sovietica, per rinunciare l'una ai danni di guerra dell'altra. Nel vocabolario italiano, però, Rapallo è entrata per un'altra ragione: la rapallizzazione, il modo in cui il boom coprì di case la collina, che Montanelli fu tra i primi a denunciare. Il battello per Portofino e San Fruttuoso parte sotto casa; e in paese si dice rapallini quelli che ci sono nati, rapallesi quelli che ci abitano.