Auf den von den Gletschern geschliffenen Steinplatten gibt es hier ringsum mehr Felszeichnungen als an irgendeiner anderen Stelle dieses Seeufers; die ältesten stammen aus der Bronzezeit. 905 kam der König von Italien Berengar I. nach Torri und blieb: er ließ den Mauerring bauen, von dem noch weite Strecken stehen, und den Turm, der seinen Namen trägt, heute am Kirchplatz, und von hier datierte er sechs Diplome, mit denen er jene belohnte, die ihm gegen einen Rivalen geholfen hatten. Später errichteten die Scaligeri die Burg, eine der bedeutendsten Festungen des ganzen Gardasees — und darin, auf der Südseite, steht ein Zitrusgewächshaus von 1760, wo die Zitrusbäume den Winter verbrachten.
Ab 1405, unter Venedig, wurde Torri Sitz der Gardesana dell'Acqua, eines Bundes von zehn Seegemeinden, dessen Aufgabe es war, den Schmuggel zu unterbinden und die Steuerlasten unter den Mitgliedern zu verteilen; ihm stand der Hauptmann des Sees vor, und der Saal, in dem der Rat zusammentrat, gehört heute zu einem Hotel. Die Familienoberhäupter des Ortes hatten dann ihre eigene Versammlung, die vicinia, und das Buch mit den Protokollen jener Sitzungen ist das, was uns erzählt, wie die Fischer und Bauern hier im achtzehnten Jahrhundert lebten. Die Pestzüge des sechzehnten und siebzehnten Jahrhunderts halbierten die Bevölkerung: die Kranken wurden bei einer Kirche und im Kloster neben einer anderen gesammelt. 1797 landeten in Torri die Soldaten Napoleons, und im Wasser vor Pai schlug eine österreichische Flottille die Franzosen in die Flucht.