Dal paese si guarda il monte Cervati, dalle cui cime nasce il Bussento. Il fiume attraversa il territorio di Caselle fino al lago Sabetta e poi, in una località chiamata La Rupe, appena a est delle case, viene inghiottito nelle viscere della terra. L'abitato sta arroccato su una collina sotto una torre medievale e prende metà del suo nome dal pietroso monte Pittari, dove si trova il santuario di san Michele Arcangelo. Il culto dell'arcangelo arrivò qui nel settimo secolo con i monaci bizantini; nella grotta di San Michele è stata trovata ceramica preistorica; e all'inizio dell'undicesimo secolo il principe longobardo di Salerno, Guaimario III, fondò su quel monte l'abbazia di Sant'Angelo, i cui resti si vedono ancora sotto il complesso delle cripte.
La prima menzione di Caselle sta dentro una notizia che riguarda qualcun altro: la lettera pastorale del 1067 con cui l'arcivescovo di Salerno annunciava al clero che l'abate di Cava era stato nominato vescovo della ricostituita diocesi di Policastro. Poi viene il Catalogus Baronum, poi i Sanseverino, uno dei quali, Guglielmo, partecipò alla congiura dei baroni nel 1485, perse tutti i feudi che aveva e se li vide restituire tutti undici anni dopo. Nel 1570 Pietro De Stefano comprò Caselle per undicimilacinquecento ducati, e la sua famiglia la tenne fino al 1674, quando l'ultimo De Stefano dovette venderla a un giudice per coprire debiti che non riusciva a pagare. La fonte spiega anche il meccanismo: carestie, carico fiscale eccessivo ed epidemie riducevano le entrate dei nobili, e i nobili si indebitavano. Il feudo passò poi ai Cristiani, il tredici giugno 1764 andò a una figlia, Chiara, e finì ai Mazzarotta fino all'abolizione delle leggi feudali.