Poppi está construido en forma de L, y sus dos polos son el castillo de los condes Guidi en un extremo y la abadía de San Fedele en el otro. Los Guidi lo tuvieron de 1191 a 1440, cuando pasó a ser sede del vicario de la República florentina, y son ellos quienes le dieron esa forma: en 1200 el conde Simone Guidi di Battifolle empezó a transformar el torreón en residencia señorial, y en 1261 mandó construir el recinto amurallado con cinco puertas, hoy reducidas a cuatro. En el castillo se alojó Dante Alighieri, en 1307 y de nuevo en 1311. Fuera de las murallas, hacia el llano, una columna señala el campo de la batalla de Campaldino, y a su lado está el convento de Certomondo.
En el pueblo, en el palacio Crudeli, nació y murió Tommaso Crudeli. Pertenecía a la primera logia masónica de Italia, fundada en 1732 por la colonia inglesa de Florencia; la Iglesia lo condenó como hereje, y tras la cárcel y la tortura se apagó en la casa familiar, que hoy alberga un museo dedicado a su proceso y a los derechos humanos. La villa Ascensione, construida en el siglo XVI como convento de capuchinos en una colina cercana, fue destinada a principios de 1942 a campo de prisioneros para oficiales aliados capturados en África, en su mayoría neozelandeses: a la caída del fascismo, en el verano de 1943, dejaron el campo y se refugiaron en los conventos de La Verna y Camaldoli, y la mayoría alcanzó después el Adriático y el Sur.