Villa Castelli sta su un orlo di scarpata fra la valle d'Itria e la pianura salentina, e da sempre significa confine. Il territorio è disseminato di specchie, i cumuli di pietre che segnavano i limiti fra le terre messapiche e quelle tarantine; e il sito archeologico più studiato, a Pezza Petrosa, racconta bene come funzionava quella linea: c'è una necropoli di oltre trenta tombe del quarto e terzo secolo avanti Cristo, con ceramiche decorate, oggetti di bronzo e statuette di Demetra, la dea dell'agricoltura, e poco distante i resti di un abitato con tracce di mura a blocchi. Probabilmente era un villaggio messapico che, dopo la conquista da parte di Taranto, divenne un phrourion, cioè un avamposto militare del sistema difensivo tarantino. Nel medioevo la storia si ripete: il fortilizio con il suo piccolo casale si trovò sulla linea fra terre longobarde e terre bizantine.
Il nome si è formato per strati. Dall'undicesimo secolo i documenti parlano di Castellum Caeje, il territorio che comprendeva Ceglie e buona parte di qui; nel Seicento compare Monte Castelli, nel Settecento «li Castelli», e infine si aggiunge Villa, che non è una villa ma vuol dire borgo — il nome completo arriva prima che il paese si stacchi da Francavilla Fontana, di cui era frazione. Il territorio ha poi due cose che non ci si aspetta: a Monte Fellone l'allevamento dei cavalli risale al neolitico, fenomeno raro nel sud Italia e quasi unico in Puglia; e nella contrada Antoglia c'è la Fonte Strabone, un tempo detta Fonte dei Grani, da cui nasce il Canale Reale, che dopo quasi quaranta chilometri va a finire in mare nell'oasi di Torre Guaceto.