Le nom dit exactement comment elle est née. À la fin du douzième siècle la commune de Trévise bâtit ici un château pour garder la frontière avec Padoue et Vicence, et en 1199 y envoya cent familles d'hommes libres, en leur donnant des terres et des maisons exemptes d'impôts et de charges : castello franco, un château libre de taxes. D'où une population faite non de soldats mais de citoyens, et un plan étrange, sans vraie place, avec l'église, le bureau des comptes et l'infirmerie répartis le long de la rue principale. Elle était gouvernée par deux consuls en charge six mois, et chacun des deux devait rendre compte à l'autre de sa conduite et agir contre lui s'il violait la loi.
Dans ces murs à créneaux naquit, vers 1477, Giorgione : son retable dans la cathédrale, avec son trône haut et son paysage rêveur, est l'un des seuils de la peinture moderne, et la maison que la tradition lui attribue abrite le musée. En 1339 Castelfranco était passée à Venise avec Trévise, et sous la Sérénissime elle connut son meilleur temps : le marché du côté nord du château, partagé entre le bétail et les grains, les arcades et les entrepôts au rez-de-chaussée, les villas du patriciat à la campagne — et peu à peu le bourg coupa ses liens avec Trévise et alla pour son compte. Le Teatro Accademico, bijou du dix-huitième siècle tout en velours, on le doit aux lettrés de ces familles. Hors les murs, les cafés de la place ; sur la table, le radicchio panaché de Castelfranco, la rose qui se mange. Trévise et Padoue sont à vingt minutes.