Il patrono di San Gemini è san Gemine, festeggiato il 9 ottobre nel duomo a lui dedicato, la cui esistenza è documentata dal XII secolo, anche se si ritiene che la chiesa sia più antica. Secondo la tradizione, il santo — al secolo il monaco Yemin — evangelizzò il territorio fra il VII e l'VIII secolo: figlio del generale siriano Miliziano, convertitosi al cristianesimo insieme alla moglie Balia, fu imprigionato per la sua fede ma riuscì a fuggire via mare fino a Fano, da dove iniziò un pellegrinaggio che lo condusse fino a queste terre.
Nei giorni che precedono la festa del patrono, generalmente dall'ultimo sabato di settembre alla seconda domenica di ottobre, si tiene la Giostra dell'Arme, l'evento di maggior richiamo del paese: una rievocazione storica che culmina in una sfida a cavallo fra i cavalieri dei due rioni in cui è diviso San Gemini, la Rocca e la Piazza.