I Fanelli erano un'antica famiglia sarteanese, che compare già nel primo Statuto comunale conosciuto. Ferdinando I dei Medici concesse il castello di Sarteano, nel giugno del 1590, a Eustachio Fanelli e, alla morte del Granduca, Cosimo II confermò l'investitura estendendola agli eredi, per i servigi resi da castellani della fortezza fiorentina di Belvedere. Successivamente troviamo tre fratelli Fanelli alla corte mediecea, figli di Bartolomeo, nonché nipoti di Giovanni e di una sorella di papa Pio III. Bartolomeo aveva sposato Laura di Giovanni Gabrielli, dei conti di Gubbio: gli stemmi delle due famiglie si intrecciano nei due palazzi che si fronteggiano in via Roma, con i nomi delle rispetive famiglie: Piccolomini e Gabrielli.