Die Burg bauten um das elfte Jahrhundert die Äbte des nahen Benediktinerklosters San Tommaso in Foglia, um sich gegen die Streifzüge der Leute von Urbino und von Pesaro zu wehren, die miteinander im Krieg lagen: daher der Name, der Berg des Abtes. Das Kloster selbst war ein Jahrhundert früher auf den Ruinen eines heidnischen Tempels errichtet worden, und sein größter Augenblick war 1047, als der deutsche Papst Clemens II. dort weilte und seine Tage beschloss. Die Schenkungen, die von ihm und von den anderen Mächtigen kamen, die es besuchten, machten es reich, bis die Politik des fünfzehnten Jahrhunderts es zugrunde richtete: 1447 wurde es aufgehoben.
Als das Kloster weg war, kam die Burg an die Malatesta, die ihr eine Festung hinzufügten; dann an Costanzo Sforza, dem der Ort gefiel und der die Residenz der Äbte und die Festung zu einem einzigen Gebäude vereinte und wahrscheinlich den östlichen Turm bauen ließ, das Beste, was von der alten Anlage geblieben ist. Im November 1443, während der Schlacht von Monteluro, lagerten hier nacheinander drei Heere: das des Francesco Sforza, das des Niccolò Piccinino und das des Sigismondo Malatesta. Unten war der Markt von Montelabbate einer der wichtigsten des Pesareser Landes, so sehr, dass man zu Beginn des fünfzehnten Jahrhunderts beschloss, eine Brücke über den Fluss zu bauen, um ihn zu bedienen; und der untere Teil des Ortes heißt noch immer Borgo Mercato. Im Gärtchen hinter dem alten Rathaus steht ein großes römisches Vorratsgefäß, aus dem Vorgebirge von Gabicce geholt und von den Grafen hierhergebracht, die damals die Burg hatten.