Nell'anno 1054 il normanno Goffredo d'Altavilla, nipote di Roberto il Guiscardo, fece di Conversano il cuore di una contea vastissima, che arrivava fino a Lecce; e nella sua corte soggiornò per mesi Roberto il Corto, duca di Normandia e figlio di Guglielmo il Conquistatore, di ritorno dalla prima crociata. Roberto sposò qui Sibilla, figlia di Goffredo, e con la sua dote ricca riscattò l'ipoteca di diecimila ducati che gravava sul ducato di Normandia stesso. Dal 1455 la contea passò agli Acquaviva d'Aragona, che la tennero fino all'abolizione della feudalità: fra loro Andrea Matteo, mecenate e bibliofilo, incrociò le proprie giumente olandesi con stalloni orientali creando la razza equina di Conversano, dal manto nero, veloce e robusta. Nel 1774 uno di quegli stalloni fu portato a Lipizza, in Slovenia, e divenne uno dei padri fondatori del cavallo Lipizzano.
Ma il conte più famoso resta Giangirolamo II, detto il Guercio delle Puglie, feudatario spietato e insieme grande mecenate, che tenne alla sua corte per oltre vent'anni il pittore Paolo Finoglio, autore delle tele ispirate alla Gerusalemme liberata ancora nel castello. Fu lui, per aggirare un editto vicereale che imponeva il permesso della corona per fondare nuove città, a far costruire le case di Alberobello con tetti a secco, senza malta: bastava un'ispezione regia in arrivo, e i tetti venivano smontati in fretta, per essere poi rimessi su senza difficoltà. Sono i trulli che oggi tutto il mondo conosce. Conversano, sui primi rilievi della Murgia a sette chilometri dall'Adriatico, ha ricevuto il titolo di città solo nel 2011.