Le « Guildford Castle » était à l’origine une motte normande avec une cour extérieure, bâtie peu après 1066. Les ouvrages de défenses en bois furent remplacés par des fortifications en pierre au cours du XIIe siècle. Dans un premier temps, la motte fut entourée d’un mur d’enceinte et puis on construisit un donjon de forte taille, mais pas très élevé qui subsista jusqu’à aujourd’hui. En tant que seul château royal du Surrey, il devint le centre de l’administration et de la justice, le donjon fut transformé en prison du comté. Les appartements royaux furent transférés dans un palais situé dans la cour extérieure en contrebas. Sous Henry III, il devint une des plus somptueuses résidences royales d’Angleterre.

Après la mort d’Henry III en 1272, le château commença à décliner et les bâtiments du palais tombèrent en ruine. En 1611, Francis Carter, un négociant de Guildford acheta le château et essaya de le transformer en résidence privée. Il n’y réussit pas, et en 1630 le toit et les planchers furent démolis. En 1885, les ruines furent acquises par le Conseil Municipal de Guildford qui transforma les terres du château en un parc public, l’aménagement paysager de fin d’époque victorienne donnant à la motte un air insolite.

Au sud-ouest du château, dans la Quarry Street se trouve un arceau du porche faisant partie des fortifications du XIIIe siècle. Le « Guildford Museum » dans la Quarry Street est situé dans un cottage agrandit, construit dans les bâtiments extérieurs du château, et il fut créé en 1898. Il abrite maintenant la plus grande collection d’archéologie, d’histoire locale et d’ouvrages à l’aiguille du Surrey. La collection archéologique contient des coiffes de prêtres romains, des pièces saxonnes, des carreaux du Moyen-âge et un assortiment de poterie/verrerie du XVIIe siècle. La collection de travaux d’aiguille comprend des modèles, du patchwork, de la layette et des dentelles. La collection d’Histoire Locale présente des objets et des illustrations des activités locales d’artisanat et de l’industrie, de la vie sociale, de l’enfance et des personnalités locales, telles que Lewis Carroll et Gertrude Jekyll.