De geschiedenis van het door een gracht omgeven kasteel voert terug tot de zeventiende eeuw. Het Kasteel van Arcen is gebouwd in opdracht van de Hertogen van Gelre. Het huidige kasteel werd gebouwd op de ruïnes van het vorige kasteel dat op haar beurt weer werd gebouwd op de restanten van het eerste kasteel ‘Huys den Kamp’.
De linkervleugel en de linkerkant van het kasteel zijn tussen 1806 en 1850 tot op de funderingsmuren afgebrand. Alleen de linkerkant van het kasteel is later opnieuw opgebouwd.
De kamers op de Bel-etage zijn historisch ingericht en nemen de bezoekers mee naar vroegere tijden toen het kasteel nog bewoond werd. Op de tweede verdieping, de Van Gelre-etage, vinden regelmatig kunstexposities plaats. Hier bevindt zich ook de trouwzaal. De horecafaciliteiten in de gewelfkelder worden voor feesten, brunches en ontbijten gebruikt.