La prima domenica di maggio si festeggia a Poggibonsi la sacra immagine della Madonna, realizzata su commissione di Bernardo di Duccio Adimari, nobile proprietario dei terreni di Strozzavolpe, Papaiano, Talciona e Romituzzo alla fine del XIV secolo.
Il simulacro venne posizionato nel luogo dove le pie donne dette "Romite" andavano a pregare, appellativo da cui deriva il nome del sito.
Successivamente, il 26 aprile 1926, la venerata raffigurazione della Vergine venne incoronata e la domenica successiva portata in processione verso la riproduzione del simulacro, realizzata dal pittore Garibaldo Cepparelli, contattato appositamente per l'occasione.
Secondo alcune testimonianze, la tradizione voleva che la festa finisse di lunedì, una volta che i cittadini si fossero ritrovati alla fortezza per la merenda, mangiando l'uovo sodo in Calcinaia, alla bottega del Salvini di "Tabacchi e Alimentari".
Secondo un detto popolare, se tra la festa del patrono San Lucchese e la festa della Madonna di Romituzzo piove, sarà un'annata fortunata: "Tra San Lucchese e Romituzzo polvere bagnata, annata fortunata".