Im Jahre 1789 kam es an die adlige Bankiersfamilie von Frege. Dadurch wurde das Umfeld des Schlosses umgestaltet, vergrößert und mehrfach mit Villen bebaut. Die Familie von Frege besaß das Gut Abtnaundorf noch bis zum Jahre 1916. Sie findet mehrfache Erwähnung in der Geschichte. Viele Generationen besaßen das Gut und errichteten ihre Sommer- und Landsitze darauf. 

Im Jahre 1833 stellte Christian Gottlob (III.) Frege einen Experten ein, dem ein Vierteljahrhundert lang die Parkpflege oblag. So wurden mehrere exotische Baumarten gepflanzt und gepflegt, der heutige Baumbestand ist allerdings zum größten Teil erst ca. 50 Jahre alt. 

Schon in der Mitte des 18. Jahrhunderts wurde der großzügige englische Landschaftspark angelegt, der im folgenden Jahrhundert der Öffentlichkeit zugänglich gemacht und somit ein beliebtes Ausflugsziel wurde. Unter Arnold Woldemar von Frege-Weltzien wurde 1892/1893 das schon während der Napoleonischen Kriege in Mitleidenschaft gezogene Herrenhaus abgerissen und als Schloss neu errichtet.

In der Nachkriegszeit nach 1945 wurde das Rittergut in ein Stadtgut umgewandelt und das Schloss wurde dabei für die Lehrerausbildung und auch als Krankenhaus genutzt. In der Nachwendezeit erwarb eine Baufirma das Schloss.

Das Schloss diente durch die DDR Zeiten als Mehrfamilien Wohnhaus und verfiel  während dieser Zeit nach und nach. Die Zierelemente der Fassade wurden dabei kostengünstig verspachtelt und Stuck, Verzierungen oder Details wurden dabei nach und nach verdeckt und gerieten in Vergessenheit. Um die Jahrtausendwende wurde das mittlerweile stark in Mitleidenschaft gezogene Schloss dann vollständig saniert und zu einem repräsentativen Wohn- und Geschäftshaus umgebaut und entsprechend modernisiert.

Das herrschaftliche Schloss Abtnaundorf entstand mit viel Liebe zum Detail in Stilformen der deutschen Renaissance in den Jahren 1891-1893 und erlebte vielfältige Schicksale. Es wurde 1999-2001 vollständig saniert und zu einem repräsentativen Wohn- und Geschäftshaus umgebaut und entsprechend modernisiert.

Das Schloss wurde in den Jahren 2012-2020 weiter liebevoll saniert und seine ursprüngliche Schönheit dabei aufwändig und fast vollständig wieder hergestellt.  Die Eigentümerfamilie bewohnt es seither selbst und kümmert sich sowohl um die Erhaltung von Schloss und Park.       

Während der umliegende Park mit seinen weitläufigen Wegen, dem Wald, einem See, verspielten Pavillons und einem Kinderspielplatz uneingeschränkt für die Öffentlichkeit zugänglich bleibt, ist das kleine Areal um das Schloss nur der Eigentümerfamilie vorbehalten.