Nel 1229 Alberto di Montauto condusse il primo assedio ben documentato al castello, strappandolo a Siena e concedendolo a Orvieto. La Repubblica senese ne tornò in possesso grazie a Francesco Lippi da Grotti, a cui affidò il comando della guarnigione. Questi, grande giocatore di dadi, con un carattere rissoso e violento, era malvisto dalla popolazione. E una sera, avendo perso tutti i suoi risparmi, disse «anco gli occhi mi vo' giocare, a dispetto di chi me li fece». Un raggio di luce gli trapassò la vista, rendendolo cieco (l'episodio è raffigurato in un affresco settecentesco di scuola Nasini, conservato a palazzo Fanelli). Cacciato dalla guarnigione, Lippi andò fino a Santiago di Compostela, dove fu miracolato. Quindi peregrinò nella Spagna settentrionale – dove è ancora ricordato nelle confraternite - predicando amore per il prossimo. Tornò a Siena dove si fece carmelitano, e morì l'11 novembre 1291. È venerato come beato (la vicenda è narrata da Gregorio Lombardelli nella Vita del Beato Franco da Grotti dell'ordine de' Carmelitani).