Villa Castelli está en el borde de un escarpe entre el valle de Itria y la llanura salentina, y desde siempre eso quiere decir frontera. El territorio está sembrado de specchie, los montones de piedras que marcaban los límites entre las tierras mesapias y las de Tarento; y el yacimiento más estudiado, en Pezza Petrosa, muestra bien cómo funcionaba aquella línea: hay una necrópolis de más de treinta tumbas de los siglos cuarto y tercero antes de Cristo, con cerámicas decoradas, objetos de bronce y estatuillas de Deméter, la diosa de la agricultura, y no lejos los restos de un poblado con trazas de murallas de bloques. Probablemente era una aldea mesapia que, tras la conquista por parte de Tarento, se convirtió en un phrourion, es decir un puesto militar avanzado del sistema defensivo tarentino. En la Edad Media la historia se repite: la fortaleza con su pequeño caserío se encontró en la línea entre tierras longobardas y tierras bizantinas.
El nombre se formó por capas. Desde el siglo once los documentos hablan de Castellum Caeje, el territorio que comprendía Ceglie y buena parte de aquí; en el siglo diecisiete aparece Monte Castelli, en el dieciocho «li Castelli», y por fin se añade Villa, que no es una villa sino que quiere decir aldea — el nombre completo llega antes de que el pueblo se separe de Francavilla Fontana, de la que era pedanía. El territorio tiene además dos cosas que no se esperan: en Monte Fellone la cría de caballos se remonta al neolítico, fenómeno raro en el sur de Italia y casi único en Apulia; y en la contrada Antoglia está la Fonte Strabone, antaño llamada Fonte dei Grani, de la que nace el Canale Reale, que tras casi cuarenta kilómetros acaba en el mar, en el oasis de Torre Guaceto.