All’inizio degli anni ’90 la villa ha riacquistato il suo antico splendore attraverso un attento e puntuale restauro realizzato dalla Famiglia Pecchini che ha dato a questa location la possibilità di essere visitata. Questo intervento ha riportato alla luce splendide grottesche di scuola Giuliesca, presenti sotto gli intonaci esistenti.
Scarse sono le notizie sui proprietari della Villa nel periodo della realizzazione, anche se alcuni documenti conservati all’archivio vescovile, riconducono alla fine del quattrocento la costruzione.
L’atto notarile più antico a rintracciato nell’Archivio di Stato di Mantova è una compravendita stipulata il 25 giugno 1540, con la quale i fratelli conti Gilberto, Francesco e Giulio Cesare Borromeo abitanti di Arona, alienarono a Girolamo Zanoni abitante di Mantova 11 pezze di terra poste alla Garolda per un totale di circa 170 biolche tra cui una pezza di terra casamentiva, arativa, vignata e prativa nominata “el Garzarolo”.
All’inizio del Seicento la Villa apparteneva a Girolamo Zanoni che la lascia alla sua morte causata dalla peste nel 1630 attraverso un testamento ai nobili Bagni.
La villa passò tra i beni dei Cavriani nell’anno 1836, lasciata in eredità al Marchese Luigi Cavriani dalla moglie contessa Maria Teresa Peyri. La Peyri, bellissima figura di donna, di elette virtù cristiane, aveva ereditato la proprietà nel 1799 dalla madre, Maria Chiara dei marchesi Bagni. A questa era pervenuta nel 1785 dal fratello Antonio.
Esistono poche notizie documentate riguardanti lavori eseguiti nella villa stessa. Si desume da un libro stampato dopo la morte di Maria Teresa Peyri Cavriani che questa rese la villa, dopo il 1806, “bella e deliziosa”. In una lettera al Conte d’Arco, scritta il 27 gennaio 1841, l’architetto Giovanni Battista Vergani afferma di avere costruito la recinzione della villa. In un manoscritto assegnabile agli ultimi anni dell’ottocento, si dice che la marchesa Maria Daria Brivio, vissuta in casa Cavriani fino al 1905, sposa al marchese Ippolito Cavriani, proprietario della Garolda dal 1840, apportò delle innovazioni in tale palazzo.