Die Lage auf einer durch drei Gewässer (Alme, Lippe, Pader) gebildeten Halbinsel begünstigte den Bau einer wehrhaften Wasserburg vor den Toren der Stadt Paderborn.

Das als bischöfliches Residenzschloss dienende kastellartige Gebäude wurde in mehreren Bauabschnitten zwischen 1370 und 1597 erbaut. Mit seinen vier Flügeln und den mächtigen Ecktürmen zählt es zu den bedeutendsten Renaissanceschlössern in Deutschland.

Der zum Ort gewandte Flügel, dass so genannte „Haus Braunschweig“ ist ein Werk des bekannten Baumeisters Jörg Unkair um 1525 und war der erste Schlossbau in der Region in den Formen der Weserrenaissance. Mit dem zum Garten gewandten „Haus Fürstenberg“ wird 1597 der beeindruckende Schlossbau vollendet.