Il patrono di Porto Azzurro è san Giacomo, festeggiato il 25 luglio nella Chiesa di San Giacomo Maggiore.
Il paese conserva il Santuario della Madonna di Monserrato e il Forte di Longone, oltre alla piccola miniera, testimonianza della tradizione mineraria dell'Elba.