El patrón de Palazzo San Gervasio es san Antonio de Padua, festejado el 13 de junio. El pueblo se convirtió en feudo durante el reinado de Juana I de Nápoles, y su territorio se llamó «Tenimento di Palazzo San Gervasio con il Castello»: el castillo marquesal, conocido como «Palatium Regium», data en efecto de época normanda, pero su remodelación se llevó a cabo casi con certeza según un proyecto de Federico II, que además de ser un gran condotiero y un sagaz político, fue también un hábil ingeniero.
El pueblo conserva la memoria de su historia en la pinacoteca «Camillo D'Errico» y en el yacimiento arqueológico local; en 1963, entre Palazzo San Gervasio y la cercana Minervino Murge, se rodó la película I basilischi, dirigida por Lina Wertmüller, que ganó la Vela de Plata en el Festival de Locarno de ese mismo año. Entre los dulces de la tradición pascual figuran la «scarcegghjə», con huevo duro, y las «laghənə chə məgghieichə», lagane con miga de pan.
