Il centro di Frasso sorge alto su un colle a quota 405m. s.l.m., in posizione elevata sulla riva sinistra del Farla. Il sito è circondato da alture verdeggianti e colture di olivo. Il toponimo Frasso compare nella documentazione farfense nella prima metà del X secolo. Il castello fu probabilmente fondato in questo periodo per iniziativa signorile, anche se la prima notizia certa della sua esistenza risale al 1055, quando Alberto figlio di Gebbone lo donò all'abate di Farfa, Berardo I. Il castello di Frasso dovette rimanere in possesso del monastero per non molto tempo. Sullo scorcio del Trecento ne erano in possesso i Brancaleoni. Nel 1441, quando Frasso venne occupato da Battista Savelli, Paolo e Francesco Brancaleoni, signori di Monteleone, lo donarono, come dote, alla loro sorella Simodea, che aveva sposato Orso Cesarini. La dominante mole della rocca dei Cesarini, davvero notevole rispetto alla dimensione dell'abitato, conserva ancora un alto bastione cilindrico con basamento a scarpa munito di beccatelli nella parte terminale.