Il nome, dicono i filologi, viene da Joha, forma ridotta del cognome di una famiglia bizantina di queste parti; ma la leggenda è più bella, e racconta di una nobildonna in viaggio che qui perse una collana preziosa, ritrovata poi sul colle. La città ha creduto alla leggenda: nel suo stemma non c'è nessun casato, come invece hanno i paesi vicini, ma una coppa a forma di calice ricolma di gioielli, bordata di motivi agricoli, cioè il ritratto di una comunità che stava fra la povertà e la ricchezza, fra l'artigianato e il latifondo. Fino all'Ottocento si chiamava soltanto Gioia, e i gioiesi la chiamano ancora Sciò.
Sul colle sta il castello, che in realtà è tre castelli sovrapposti: il recinto fortificato bizantino, la residenza che ne fece nel Dodicesimo secolo il normanno Riccardo Siniscalco, e la sistemazione definitiva voluta da Federico II intorno al 1230, al ritorno dalla crociata, con il cortile quadrangolare e quattro torri agli angoli. Ne restano due, e si chiamano torre De' Rossi e torre dell'Imperatrice. La città, però, è molto più vecchia del suo nome: a cinque chilometri, a Monte Sannace, si scava ancora un abitato dei Peuceti del settimo secolo avanti Cristo. E c'è una data che a Gioia non si dimentica: il primo luglio del 1920, in contrada Marzagaglia, furono uccisi sei braccianti, e il giorno dopo, per ritorsione, tre possidenti. Attorno restano i boschi di fragno, rari altrove, fra le Murge e la sella su cui la città si appoggia.