Der Duke of Newcastle taufte das Anwesen in Claremont um (er war zu dieser Zeit Earl of Clare und das Belvedere ist auf einem Hügel gebaut).Es wurde sowohl zum Rückzugsort aus seinem geschäftigen Leben als Premierminister, als auch zu einem Ort, in der er seine Freunde unterhalten und seine politischen Kollegen beeindrucken konnte. Aufgrund seiner wachsenden Schulden musste er Claremont an Lord Robert Clive, den Helden der britischen Feldzüge in Indien, verpfänden.
Im Sommer 1769 übernahm Clive den Besitz. Als er merkte, dass die Feuchtigkeit in Vanbrughs Haus schädlich für seine Gesundheit war, begann er mit dem Abriss und errichtete nach den Entwürfen von „Capability“ Brown, Henry Holland und John Sloane ein neues Haus, das höher gelegen war. Lord Robert Clive begann 1774 Selbstmord. Das Innere seines neuen Hauses wurde erst 1779 in einer schlichteren Form fertiggestellt.
Haus und Park Claremont kehrten 1816 ins Rampenlicht zurück als es Prinzessin Charlotte (die Tochter des Prince of Wales und Thronerbin) und ihr Ehemann Prinz Leopold von Sachsen-Coburg zu ihrem Wohnsitz machten.
Nach Jahren des Stillstands sahen die Gärten nun Innovation und Erneuerung. Claremont Landscape Garden wurde zur königlichen Domaine und bleib dies bis 1922. Die Tage, die Königin Victoria hier als Gast ihres Lieblingsonkels Prinz Leopold – dem späteren belgischen König – verbrachte, zählten zu den glücklichsten ihrer Kindheit und ihres Ehelebens. König Leopold heiratete in zweiter Ehe eine Tochter von Louis-Phillippe, König von Frankreich.
Der König lebte mit seiner Familie auf Claremont, nachdem er 1849 ins Exil gehen musste und nutzte das Haus bis 1866 wie sein eigenes. Danach nahm es Königin Victoria wieder in ihren Besitz. Sie war oft auf Claremont und nahm verschiedene gärtnerische und praktische Neuerungen vor. 1879 schenkte sie Claremont ihrem vierten Sohn, Prinz Leopold, Duke of Albany, der hier mit seiner Familie bis zum Tod seiner Frau 1922 lebte.
Nach dem Tod von Prinzessin Charlotte lebte Prinz Leopold weiter in Claremont und stellte Papworth und Pugin ein, um das Teehaus (später Mausoleum) und das Kamelienhaus zu bauen.
In den 1920er Jahren wurde dieser Teil Surreys zum vorrangigen Entwicklungsgebiet erklärt und das Schicksal von Claremont Landscape Gardens war dem Wohlwollen mehrerer Grundstücksspekulanten ausgeliefert. Das Haus, das im Nordosten des Gartens liegt, wurde verkauft (heute eine Schule) und ein Großteil des Geländes wurde bebaut.
1949 übernahm der National Trust das Anwesen.