Wenn man vom Meer heraufkommt, die Maremma-Straße hinauf, sieht man die Häuser aus einem großen, senkrecht abfallenden Tuffsporn herausragen: der Fels von Pitigliano ist auf drei Seiten von ebenso vielen Schluchten umgeben, voller in den Stein gehauener Höhlen. Die Etrusker waren schon in der späten Bronzezeit hier, und wo heute der Ort steht, lag eine ihrer Siedlungen, von der Mauerstücke im Viertel Capisotto blieben: sie verschwand zwischen dem Ende des sechsten und dem Beginn des fünften Jahrhunderts vor Christus. Die erste schriftliche Nachricht von Pitigliano stammt von 1061, aus einer Bulle Papst Nikolaus' II., und weist den Ort bereits den Aldobrandeschi zu. Im Jahr 1293 heiratete Anastasia, Tochter der Gräfin Margherita Aldobrandeschi, Romano Orsini und brachte die Grafschaft Sovana als Mitgift ein, und der Sitz der Grafschaft wurde hierher verlegt: die Orsini hielten Pitigliano fast vierhundert Jahre und verteidigten es gegen Siena, gegen Orvieto und dann gegen das Florenz der Medici. Im Jahr 1574 überließ Niccolò IV. Orsini den Medici die Festung, und 1604 trat Graf Gian Antonio den Ort an das Großherzogtum ab, um seine Schulden zu bezahlen.
Das Wappen erzählt diese Übergänge besser als jede Chronik: da ist ein Turm, das ist die Burg der Orsini; nach 1604 setzte man die Kugeln der Medici darum; später nahm man die Kugeln weg, und an ihrer Stelle erschienen zwei rote Löwen, das Sinnbild Sienas, jeder überhöht von einer Rose, die dagegen den Orsini gehört. Der alte Kern ist allerdings aus einem anderen Grund bekannt: man nennt ihn das kleine Jerusalem, wegen der jüdischen Gemeinde, die seit Jahrhunderten hier lebt, gut in den Ort eingefügt. Die Juden kamen im sechzehnten Jahrhundert hierher, auf der Flucht vor Verfolgungen und Vertreibung, und fanden einen Platz zum Bleiben; die Synagoge und das Viertel jener sephardischen Gemeinde sind restauriert und wieder zu besichtigen. Am Ende des neunzehnten Jahrhunderts, als die Auswanderung das nahe Sorano leerte, kam auch dessen Gemeinde zu dieser hinzu. Der Dom der Heiligen Petrus und Paulus, mittelalterlich und dann erneuert, hat eine spätbarocke Fassade und einen Glockenturm, der über dem Putz noch den Tuff des Mittelalters zeigt.