Sir John Gresham, aus der bekannten Londoner Kaufmannsdynastie, hatte das Anwesen von Titsey Estate 1534 gekauft. Durch eine weibliche Linie kam es im frühen 19. Jahrhundert an die Familie Leveson Gowers, einen Familienzweig des Duke of Sutherland.
Die Familie Leveson Gower lebte bis zum Tod von Thomas Leveson Gower 1992 in Titsey. Da er Junggeselle war und keine unmittelbaren Verwandten hatte, rief er die „Titsey Foundation“ als wohltätige Stiftung ins Leben, die das Anwesen zum Wohl der Öffentlichkeit erhalten soll.