Le nom, disent les philologues, vient de Joha, forme abrégée du patronyme d'une famille byzantine de ces parages ; mais la légende est plus belle, et raconte qu'une noble dame de passage y perdit un collier précieux, retrouvé ensuite sur la colline. La ville a cru à la légende : sur ses armoiries il n'y a aucune maison seigneuriale, comme en portent les bourgs voisins, mais une coupe en forme de calice débordant de joyaux et bordée de motifs agricoles, autrement dit le portrait d'une communauté située entre la pauvreté et la richesse, entre l'artisanat et le grand domaine. Jusqu'au dix-neuvième siècle elle s'appelait seulement Gioia, et ses habitants la nomment encore Sciò.
Sur la colline se dresse le château, qui est en réalité trois châteaux superposés : l'enceinte fortifiée byzantine, la résidence qu'en fit au douzième siècle le Normand Richard le Sénéchal, et l'aménagement définitif voulu par Frédéric II vers 1230, au retour de la croisade, avec sa cour quadrangulaire et quatre tours d'angle. Il en reste deux, qu'on appelle tour De' Rossi et tour de l'Impératrice. La ville, pourtant, est bien plus vieille que son nom : à cinq kilomètres, à Monte Sannace, on fouille encore un habitat des Peucètes du septième siècle avant Jésus-Christ. Et il y a une date que Gioia n'oublie pas : le premier juillet 1920, au lieu-dit Marzagaglia, six journaliers furent tués, et le lendemain, par représailles, trois propriétaires. Tout autour subsistent les bois de chêne de Macédoine, rares ailleurs, entre les Murge et le col sur lequel la ville s'appuie.