Il patrono di Palazzo San Gervasio è sant'Antonio da Padova, festeggiato il 13 giugno. Il paese divenne feudo durante il regno di Giovanna I di Napoli, e il suo territorio fu chiamato «Tenimento di Palazzo San Gervasio con il Castello»: il castello marchesale, noto come «Palatium Regium», risale infatti all'epoca normanna, ma il suo riattamento fu quasi certamente fatto eseguire su progetto di Federico II, che oltre a essere un grande condottiero e un sagace politico, fu anche un valente ingegnere.
Il paese conserva memoria della propria storia nella pinacoteca «Camillo D'Errico» e nel sito archeologico locale; nel 1963, fra Palazzo San Gervasio e la vicina Minervino Murge, fu girato il film I basilischi per la regia di Lina Wertmüller, che vinse la Vela d'argento al Festival di Locarno dello stesso anno. Fra i dolci della tradizione pasquale figurano la «scarcegghjə», con l'uovo sodo, e le «laghənə chə məgghieichə», lagane con la mollica.
