Charles graaf Gelou liet in de eerste helft van de negentiende eeuw het huidige kasteelpark in landschapsstijl aanleggen, aansluitend op het glooiende landschap met oude hellingbossen.
Dit park bestaat uit gemengd loofbos met bronnen, natuurlijke watervalletjes en vijvers.
De “hoff vant s’Heeren Huys”, de kasteeltuin, veranderde hij naar de mode van de tijd in een Franse ‘stijltuin’, zodat er samen met het landschapspark van een aanleg in zogenaamde gemengde stijl sprake is. De laatste erfgenaam verkocht het kasteel in 1959 bij wijze van schenking voor een symbolisch bedrag aan de gemeente Elsloo.
De gemeente droeg de tuin over aan het Instituut voor Natuurbeschermingseducatie (IVN). Door deze vereniging werd er een heem- en kruidentuin aangelegd.
Het sortiment bestaat in beginsel uit keukenkruiden, medicinale kruiden en in het wild voorkomende zeldzame planten. De beheerders van de tuin wisselen zaden over de gehele wereld en beheren een kaartsysteem van de meer dan tweeduizend soorten planten die in de tuin voorkomen. Hiermee is het accent van heemkruidentuin verlegd naar dat van botanische tuin, waar planten uit alle delen van de wereld in families bij elkaar staan.
Een voorbeeld van een dergelijk collectie is de varenverzameling die op Elsloo vergaard is, Maar ook solitaire exotische bomen zoals de vaantjes boom de gevederde pimpernoot en bijzondere kornoeljes, zoals de Conus florida en de Conus nuttallii zijn in Elsloo te bewonderen. De tuin bestaat uit vijftig vrij willekeurig vormgegeven grote en kleine perken, alle voorzien van naambordjes.
Ook komt er op het complex een zogenaamde kloostertuin voor, hier zijn abusievelijk randen en vormsnoei van buxus aangebracht alsmede kruidenbedden. Het naast de tuin gelegen parkbos is ook toegankelijk. Hier bloeien in het voorjaar stinserplanten zoals daslook, bosanemoon, speenkruid, helmbloen en de aronskelk.