Nel 1467 alcuni emissari di papa Paolo II arrivarono qui per arrestare un gruppo di persone, uomini e donne, accusate di eresia. Da circa il 1300 a Poli si era diffusa la setta dei fraticelli, quelli della vita povera, condannati più volte dalla Chiesa, e aveva raccolto molti consensi, compresi quelli dei Conti che governavano il feudo; le riunioni si tenevano di nascosto in posti sparsi, a Casape e altrove. Il papa prima li esortò a sconfessare le loro pratiche, poi li fece catturare con la forza e processare. Il maggiore accusato era il barone Stefano Conti, colpevole di aver favorito lo sviluppo della setta nelle sue terre: fu imprigionato a Castel Sant'Angelo e costretto a rinunciare al feudo in favore dei figli. Con la popolazione il papa fu più mite, ma non più breve: impose a tutto il paese una penitenza annuale, una processione il primo giorno di Quaresima e un pranzo per dodici poveri del posto. Quella penitenza fu revocata nel 1886, più di quattro secoli dopo che era stata inflitta.
Il tredici maggio 1655, nell'ala affrescata del piano nobile di palazzo Conti, nacque Michelangelo Conti, che sarebbe diventato papa con il nome di Innocenzo XIII. La sua famiglia teneva Poli da sei secoli, avendolo strappato agli Oddoni verso il 1200, e oggi una parte del palazzo è sede del comune mentre il piano nobile è rimasto ai Conti. Il paese risale al 992 e appartenne prima a un monastero benedettino di Roma, poi, dal 1081, all'abbazia di San Paolo fuori le mura, per donazione voluta da Gregorio VII. È rimasto com'era: trentacinque vicoli molto stretti che si aprono su un'unica strada lunga, come la lisca di un pesce. Sopra di esso sta la rupe di Guadagnolo, che ne ha condiviso le sorti per circa ottocento anni e che ha lasciato lo stesso comune solo nel 1930, e che dal 2010 si raggiunge da qui per strada. E quattro uomini di Poli furono fucilati alle Fosse Ardeatine, nel marzo del 1944.