Das Haus des Gärtners wurde zwischen 1811 und 1815 errichtet. Mehrere Gebäudetrakte, bestehend aus Hauptgebäude, Nebengebäude und Scheune, werden von einem hohen Turm überragt, der dazu beiträgt, den italienischen Charakter dieses Ensembles zu betonen. Die malerische Silhouette erinnert an die Landhäuser in Umbrien und der Toskana.

Da die Villa Lemot bis zum Tod von Frédéric Lemot noch nicht fertiggestellt war, wohnte dieser im Haus des Gärtners. Er nutzte dort den Pavillon, der ab 1812 in unmittelbarer Nähe der Wohnung des Gärtners errichtet wurde. Abgesehen von seiner Funktion als Wohnung, war das Haus des Gärtners ursprünglich das zentrale Nebengebäude des Haupthauses.