Im Jahre 1612 begann die Stadt Amsterdam mit einer der größten Stadterweiterungen. Die Grundstücke an vier neu angelegte Grachten – dem Amsterdamer Grachtengürtel – boten reichen Kaufleuten attraktives Bauland für ihre Stadtpalais. Jedes Grundstück hatte eine Breite von 8,50 m und eine Länge von 54 Metern. So stehen die Backsteinhäuser an den Grachten auch heute noch dicht gedrängt. Einzig sichtbare Extravaganz sind die Giebel in Treppen-, Glocken-, Hals- oder Rahmenform. Ein Gesetz aus dem Jahr 1615 regelte die Bebauung der Grundstücke. Sie durften nur 30 Meter tief bebaut werden. Der Rest war für den Garten und ein Gartenhaus reserviert. Bis 1964 war diese Auflage gültig.

Mit dem Bau des Geelvinck Hinlopen Huis wurde 1687 an der Keizersgracht begonnen. Es wurde auf drei bis dahin freien Grundstücken, zwei an der Herengracht und eines an der benachbarten Keizersgracht, errichtet. Das Ensemble des Geelvinck Hinlopen Huis besteht heute noch aus dem doppelten Haupthaus an der Herengracht und einer Remise an der Keizersgracht.

Die durch städtische Vorschriften stark regulierten Häuserblocks (Keurblokken) zwischen den Grachten sowie deren Innenbereiche mit den sogenannten „Keurtuinen“ waren für die UNESCO eines der fünf Kriterien für die Ernennung des Amsterdamer Grachtengürtel zum Weltkulturerbe im Jahre 2010.

Das Ensemble aus Geelvinck Hinlopen Huis, Remise und Garten kann als typisches Beispiel für ein sogenanntes „Stadtpalais“ gelten. Der Garten des Geelvinck Hinlopen Huis ist dabei ein herausragendes Beispiel für einen „Keurtuin“. Er ist einer der wenigen und noch dazu der größte Garten, der noch vollständig erhalten und für Besucher das ganze Jahr zugänglich ist.