Die gesamte Schlossanlage war damals von einer breiten Gräfte umgeben. Hauptburg, Vorburg, die kleinstädtische „Freiheit“ und ein großzügiger Lustgarten lagen ursprünglich jeweils auf einer eigenen Insel. Der Hauptzugang führte aus nordöstlicher Richtung durch eine Allee, vorbei an Karpfenteichen, über eine Brücke auf die „Freiheit“ und hier vorbei an der Schlosskapelle über die Vorburg zum Hauptschloss. Im 19. Jahrhundert hat man vom Hauptschloss den Torflügel im Osten und einen schmalen Galerieflügel im Süden abgerissen.
Seitdem wird das Erscheinungsbild des Schlosses vom 1606 fertig gestellten Nordflügel, mit einem prachtvollen Renaissance-Erker, und dem zur Mitte des 17. Jahrhunderts errichteten Westflügel, mit seinem originellen Südturm, geprägt. Neben dem markanten Turm des Hauptschlosses ist noch der mächtige Turm der Vorburg erwähnenswert. Er diente dem Bauherrn als „Sterndeuterturm“ für astronomische Beobachtungen.
Das Schloss blieb nach dem Tod der Gräfin Charlotte von Velen im Jahre 1743 lange Zeit unbewohnt. 1822 ging das Besitztum mit den dazugehörigen Ländereien an die Familie von Landsberg-Velen über, die auf dem Anwesen später eine Landwirtschaft einrichteten. Nach verschiedenen Besitzern und Nutzungen ist in den Gebäuden heute die „Akademie des Handwerks – Europäisches Zentrum für Unternehmensführung, Sachverständigenwesen und Denkmalpflege“ untergebracht.