Der Name dieses Ortes ist eine Vertragsbedingung. Um das Jahr tausend lagen zwischen Arno und Usciana vier kleine Dörfer, den ständigen Überfällen der Kriege zwischen Guelfen und Ghibellinen und zwischen Pisa, Lucca und Florenz ausgesetzt; die Bewohner beschlossen, sich an einem einzigen befestigten Ort zu sammeln, und Lucca half ihnen, weil es an dieser Grenze einen Stützpunkt brauchte. Um sicherzugehen, dass der Ort gut bevölkert war, befreite es jeden, der dorthin zog, von den Abgaben: daher Castelfranco, die abgabenfreie Burg. Der Stadtgrundriss ist der eines römischen Lagers, zwei Straßen, die sich in der Mitte kreuzen und zu vier Toren führen, mit Vierteln gleichen Maßes; und die Tore tragen noch die Namen der vier verschwundenen Dörfer und der Heiligen ihrer Kirchen, die von der Pieve von Santa Maria a Monte abhingen. Die Mauern hatten sechzehn Türme: in den sechziger Jahren wurden die letzten Abschnitte niedergelegt, doch drei von vier Toren sind geblieben.
Am letzten Maisonntag tragen die vier Stadtviertel — die noch immer jene vier Dörfer sind — das Rennen der Bötchen mit Rädern aus. Die Bötchen sind jene der renaioli, der Männer, die den Grund des Arno abschabten, um mit flachen Kähnen Sand und Kies zu entnehmen; damit sie auf der Piazza Garibaldi laufen konnten, montierte man Räder darunter, und seit 1987 schieben die Ruderer sie um den Platz. Ein Bootsrennen zwischen den Häusern, aus einem Flussgewerbe entstanden. Der Ort hat ohnehin immer verhandelt: im dreizehnten Jahrhundert unterwarf er sich freiwillig und abwechselnd Pisa und Lucca mit schriftlichen Kapitulationen über Rechte und Pflichten, und 1330, nach dem Tod Castruccio Castracanis, schickte er zwei Sindaci, um mit Florenz Bedingungen auszuhandeln, die sich als vorteilhaft erwiesen. Im Jahr 1860 stimmte er für die Einheit Italiens mit achthunderteinundneunzig Ja- und neunzehn Neinstimmen.