El nombre, dicen los filólogos, viene de Joha, forma abreviada del apellido de una familia bizantina de estos parajes; pero la leyenda es más bonita, y cuenta que una noble de paso perdió aquí un collar precioso, hallado después en el cerro. La ciudad se creyó la leyenda: en su escudo no hay ningún linaje, como sí lo hay en los de los pueblos vecinos, sino una copa en forma de cáliz rebosante de joyas y ribeteada de motivos agrícolas, es decir el retrato de una comunidad que estaba entre la pobreza y la riqueza, entre la artesanía y el latifundio. Hasta el siglo diecinueve se llamaba solo Gioia, y sus vecinos la llaman todavía Sciò.
En el cerro está el castillo, que en realidad son tres castillos superpuestos: el recinto fortificado bizantino, la residencia que hizo de él en el siglo doce el normando Ricardo Senescal, y la disposición definitiva querida por Federico II hacia 1230, a su vuelta de la cruzada, con el patio cuadrangular y cuatro torres en las esquinas. Quedan dos, y se llaman torre De' Rossi y torre de la Emperatriz. La ciudad, sin embargo, es mucho más vieja que su nombre: a cinco kilómetros, en Monte Sannace, se sigue excavando un poblado de los peucetios del siglo séptimo antes de Cristo. Y hay una fecha que en Gioia no se olvida: el primero de julio de 1920, en la comarca de Marzagaglia, fueron asesinados seis jornaleros, y al día siguiente, como represalia, tres propietarios. Alrededor quedan los bosques de quejigo de Macedonia, raros en otras partes, entre las Murge y la silla en que la ciudad se apoya.