Il nome viene da un appezzamento agricolo, un pagus Herannianus, che stava con buona probabilità dove poi fu costruita la pieve di San Leolino, e si è spostato insieme al paese: prima era della pieve, poi passò al castello, poi al ponte sull'Arno. Il castello era già vecchio nel 1170, quando gli atti di un monastero lo chiamano il castello vecchio di Rignano; lo tennero gli Ubertini, poi Firenze lo ricostruì per controllare il territorio e finì ai Mozzi, che dentro ci avevano anche il loro palatium. Quando la banca dei Mozzi fallì, nel 1308, le loro proprietà rignanesi e il castello passarono ai Bardi; un ramo di quella famiglia fu coinvolto nella congiura di Ognissanti del 1340 contro il governo fiorentino, e i loro possedimenti furono saccheggiati o distrutti, castello compreso. Per secoli, comunque, qui non si è formato un vero paese: la grande maggioranza degli abitanti continuò ad abitare nelle case sparse per la campagna, e il capoluogo restò poche case ai due capi del ponte.
Il comune come tale nasce il tredici febbraio del 1773, quando Pietro Leopoldo abolì le leghe: quindici popoli furono staccati dalla podesteria di Pontassieve per formarlo. A fare il paese, però, è stata la ferrovia da Firenze a Roma, aperta nel 1866, che gli diede una stazione e uno scalo per i prodotti agricoli; una ventina d'anni dopo arrivarono una cartiera e uno stabilimento per cementi e calci idrauliche, che sfruttava il calcare delle colline lì accanto. La popolazione salì fino a poco meno di settemila persone nel 1917. La guerra si portò via quasi tutto: furono distrutti il ponte, la stazione e il palazzo comunale, crollò buona parte delle abitazioni centrali, il cementificio fu bombardato pesantemente. E il tre agosto del 1944, vicino alla frazione di Troghi, un reparto delle SS uccise la moglie e le figlie di Robert Einstein, cugino di Albert: verosimilmente per rappresaglia contro di lui.