Si narra che lo stesso San Francesco d’Assisi abbia scelto il luogo per il primo Convento francescano di Castrum Plani Castagnarii. La prima sede del Convento, detta del “Luogo Vecchio” concessa dal Conte >Ildebrandino degli Aldebrandeschi, si dimostrò però scomoda, sia per i cittadini di Piancastagnaio, che per i frati. Il Convento, dunque, fu trasferito a Piancastagnaio. Il 5 settembre 1278 il Vescovo di Sovana, Mons. David Dandini, insieme ad una pastorale, aiutarono la comunità di Piancastagnaio nella costruzione della Chiesa del nuovo Convento, vicino alla Rocca Aldobrandesca. La prima pietra fu posta da Monsignor Dandini e fu piantato il “Castagnone”, visibile ancora oggi. La nuova Chiesa fu consacrata subito dopo. Il Convento, inizialmente, era abitato da dieci frati che mantennero la struttura grazie ai lasciti, alle donazioni dei pellegrini e all’aiuto dei contadini locali.

Durante il periodo Rinascimentale, il Convento venne ampliato: fu costruito il Chiostro con eleganti colonne corinzie e fu dipinta la stanza del Capitolo con un ciclo di affreschi monocromi dedicati alla Storia della Vergine, datati 1424. Nel 1504, il Convento, fu affidato all’ordine de’ Minori Conventuali della Terra di Piano, purché versassero una libbra di cera l’anno. Alcuni ribelli cominciarono a turbare la quiete del Convento. Il popolo pianese protestò contro queste incursioni, finché il Vescovo di Sovana, autorizzato da Papa Alessandro VI, intervenne infliggendo pene severe. Molti altri pontefici, tra cui Giulio II, Clemente VIII, Paolo III, Pio e Sisto V, intervennero a difesa dei frati francescani di Piancastagnaio infliggendo anche loro sanzioni e scomuniche. Gregorio XIII, Innocenzo XI, Alessandro VIII, invece, concessero Indulgenza Plenaria ai fedeli iscritti alla confraternita della Concezione di S. Elisabetta, con sede nel chiostro del Convento.

Le condizioni dei contadini, come dei numerosi fittavoli, erano le migliori che si potessero desiderare, ma ci fu un brusco arresto. Con la soppressione dei beni della Chiesa voluta da Napoleone Bonaparte nel 1808, il Convento fu chiuso e i frati dispersi. Tutti i beni dei frati furono messi in vendita ed acquistati dagli antichi livellari, fittavoli e dai ceti benestanti dell’epoca. Il Convento fu soppresso in seguito all’editto Napoleonico e, poi, requisito dal Granduca Leopoldo di Toscana. Il nobile senese Malvolti lo acquistò e successivamente, dal 1808, fu dato in affitto alla famiglia Barbini.

Nel 1816 il Convento fu acquistato da Vincenzo Barbini, che lo lasciò poi al primo figlio, il notaio Mariano Barbini. Quest’ultimo ebbe nove figlie femmine e due maschi; il Convento passò quindi in eredità al primo figlio maschio, Carlo che, non essendo sposato, lasciò nel 1923 al nipote Carlo Ricci tutte le sue proprietà, tra cui il Convento e il cognome Barbini. E’ stato il Prof. Vittorino Ricci Barbini, figlio di Carlo, che ha riportato all’antico splendore l’intero complesso, per farne la dimora della sua famiglia, mettendola a disposizione degli “amanti della storia e del bello”.