Nachdem im Jahre 1583 durch einen Truchsessischen Krieg, die gotische Wasserburg zerstört wurde, wurde von 1715 bis 1740 ein neues Schloss an dieser Stelle geplant und errichtet. Robert de Cotte war damals der zuständige Architekt des Baus, welches er im Auftrag vom Kölner Kurfürst Joseph Clemens und seinem Neffen Clemens August erbauen ließ.
Im Jahre 1818 wurden das Schloss und auch der angrenzende Park zum Botanischen Garten umgestaltet.