Poppi ist in Form eines L gebaut, und seine beiden Pole sind die Burg der Grafen Guidi an dem einen und die Abtei San Fedele an dem anderen Ende. Die Guidi hielten den Ort von 1191 bis 1440, als er Sitz des Vikars der Florentiner Republik wurde, und sie gaben ihm diese Gestalt: 1200 begann Graf Simone Guidi di Battifolle, den Bergfried in einen Herrensitz zu verwandeln, und 1261 ließ er den Mauerring mit fünf Toren errichten, von denen heute vier übrig sind. In der Burg weilte Dante Alighieri, 1307 und erneut 1311. Außerhalb der Mauern, zur Ebene hin, bezeichnet eine Säule das Feld der Schlacht von Campaldino, und daneben steht das Kloster Certomondo.
Im Ort, im Palazzo Crudeli, wurde Tommaso Crudeli geboren und starb er. Er gehörte der ersten Freimaurerloge Italiens an, 1732 von der englischen Kolonie in Florenz gegründet; die Kirche verurteilte ihn als Ketzer, und nach Kerker und Folter starb er im Haus der Familie, das heute ein Museum zu seinem Prozess und zu den Menschenrechten beherbergt. Die Villa Ascensione, im 16. Jahrhundert als Kapuzinerkloster auf einem nahen Hügel erbaut, wurde Anfang 1942 zu einem Gefangenenlager für in Afrika gefangene alliierte Offiziere, überwiegend Neuseeländer: beim Sturz des Faschismus, im Sommer 1943, verließen sie das Lager und fanden Zuflucht in den Klöstern La Verna und Camaldoli, und die meisten erreichten dann die Adria und den Süden.