En l'an 1054, le Normand Geoffroy de Hauteville, neveu de Robert Guiscard, fit de Conversano le coeur d'un vaste comté s'étendant jusqu'à Lecce ; et à sa cour séjourna pendant des mois Robert Courteheuse, duc de Normandie et fils de Guillaume le Conquérant, au retour de la première croisade. Robert épousa ici Sibylle, fille de Geoffroy, et avec sa riche dot racheta l'hypothèque de dix mille ducats qui pesait sur le duché de Normandie lui-même. À partir de 1455 le comté passa aux Acquaviva d'Aragona, qui le tinrent jusqu'à l'abolition de la féodalité : parmi eux, Andrea Matteo, mécène et bibliophile, croisa ses propres juments hollandaises avec des étalons orientaux, créant la race chevaline de Conversano, à la robe noire, rapide et robuste. En 1774 l'un de ces étalons fut emmené à Lipizza, en Slovénie, et devint l'un des pères fondateurs du cheval lipizzan.
Mais le comte le plus célèbre reste Giangirolamo II, dit le Guercio delle Puglie, seigneur féodal impitoyable et en même temps grand mécène, qui garda à sa cour plus de vingt ans le peintre Paolo Finoglio, auteur des toiles inspirées de la Jérusalem délivrée encore visibles au château. C'est lui qui, pour contourner un édit vice-royal exigeant l'autorisation de la couronne pour fonder de nouvelles villes, fit construire les maisons d'Alberobello avec des toits en pierre sèche, sans mortier : une inspection royale annoncée suffisait, et les toits étaient vite démontés, puis remontés sans peine. Ce sont les trulli que le monde entier connaît aujourd'hui. Conversano, sur les premières collines des Murge à sept kilomètres de l'Adriatique, n'a reçu le titre de ville qu'en 2011.