Door huwelijk kwamen kasteel en park in 1824 in handen van de familie Van Caloen. Het echtpaar Charles van Caloen en Savina de Gourcy Serainchamps zouden vanaf 1850 niet alleen het kasteel herbouwen, maar ook het park volledig heraanleggen.

Terwijl de werken aan het park volop in uitvoering waren, contacteerde Charles van Caloen de Britse architect Eduard Welby Pugin om een neogotisch kasteel te ontwerpen, een stijlkeuze die werd ingegeven door de uitgesproken katholieke levensidealen van de opdrachtgevers. De samenwerking met de Engelse architect verliep allesbehalve vlot en in 1859 werd Pugin uiteindelijk bedankt voor bewezen diensten.

De familie vertrouwde de bouw toe aan architect en raadgever van de familie Jean-Baptiste Bethune. Ondertussen was echter al gestart met het metselen van de funderingen, zodat Bethune zich moest beperken tot het herwerken van de gevelopstanden en het ontwerpen van de rijke interieuraankleding. De vormentaal van de bakstenen gevels is duidelijk geïnspireerd op de Brugse gotische bouwkunst.

Voor de decoratie van het interieur werden kosten nog moeite gespaard: vloertegels werden aangevoerd vanuit Engeland, een hele ploeg van ambachtslui werd aan het werk gezet en de Duitse kunstenaar August Martin werd aangezocht om in het ‘Blauwe Salon’ een reeks muurschilderingen met historische taferelen uit te voeren. Priester-dichter en vriend aan huis Guido Gezelle voorzag de taferelen van verzen.

Samen met het kasteel werden vanaf 1861 op het domein verschillende bijgebouwen opgetrokken: een toegangspoort over de walgracht, een koetshuis, stallingen en een manege. De familie kon in 1863 haar intrek nemen in wat één van de opmerkelijkste neogotische kastelen in België geworden was.