La patrona di Isola delle Femmine è Maria Santissima delle Grazie, festeggiata il 2 luglio, nella chiesa a lei dedicata.
Il paese prende il nome dall'isolotto che gli sta di fronte, sormontato da una torre in gran parte diroccata che ha alimentato diverse leggende: la più nota, ma priva di fondamento, la vuole un tempo adibita a prigione riservata alle sole donne. Sia la torre sull'isolotto, detta Torre di fuori, sia quella sulla terraferma, detta Torre di dentro, facevano parte dell'antico sistema di avvistamento delle torri costiere della Sicilia: quest'ultima, di forma circolare, sarebbe stata costruita nel Quattrocento, al tempo del re aragonese Martino il Giovane, sul modello di torri coeve come quelle di Capo Mongerbino e Capo Rama. Lo stemma comunale raffigura ancora oggi una torre d'argento merlata alla guelfa su sfondo azzurro.
