Arrivando dal mare, salendo la strada maremmana, si vedono le case che sporgono da un grande sperone di tufo a strapiombo: la rupe di Pitigliano è circondata su tre lati da altrettanti burroni, pieni di grotte scavate nella roccia. Qui c'erano gli etruschi già dalla tarda età del bronzo, e nel punto dove oggi sta il paese c'era un loro centro, di cui sono rimasti pezzi di mura nel quartiere di Capisotto: sparì fra la fine del sesto e l'inizio del quinto secolo prima di Cristo. La prima notizia scritta di Pitigliano è del 1061, in una bolla di papa Niccolò II, e già lo assegna agli Aldobrandeschi. Nel 1293 Anastasia, figlia della contessa Margherita Aldobrandeschi, sposò Romano Orsini portando in dote la contea di Sovana, e la sede della contea fu spostata qui: gli Orsini tennero Pitigliano per quasi quattrocento anni, difendendolo da Siena, da Orvieto e poi dalla Firenze dei Medici. Nel 1574 Niccolò IV Orsini cedette la fortezza ai Medici, e nel 1604 il conte Gian Antonio cedette il paese al granducato per pagare i propri debiti.
Lo stemma racconta questi passaggi meglio di qualunque cronaca: c'è una torre, che è il castello degli Orsini; dopo il 1604 le misero intorno le palle dei Medici; più tardi le palle furono tolte e al posto loro comparvero due leoni rossi, che sono il simbolo di Siena, ognuno sormontato da una rosa, che invece è degli Orsini. Il centro storico, però, è conosciuto per un altro motivo: lo chiamano la piccola Gerusalemme, per la comunità ebraica che ci vive da secoli, ben integrata nel paese. Gli ebrei arrivarono qui nel Cinquecento, in fuga dalle persecuzioni e dall'espulsione, e ci trovarono un posto dove stare; la sinagoga e il quartiere di quella comunità sefardita sono stati restaurati e si possono visitare. Alla fine dell'Ottocento, quando l'emigrazione svuotò la vicina Sorano, anche la sua congregazione confluì in questa. Il duomo dei Santi Pietro e Paolo, medievale e poi rifatto, ha la facciata tardobarocca e il campanile che sopra l'intonaco mostra ancora il tufo del Medioevo.