Le était la résidence officielle des rois d'Espagne pendant la période de présence de la cour dans la ville de Valladolid entre 1601 et 1606. Il était également une résidence temporaire du règne de Charles Quint à Isabelle II. Il fut le quartier général de Napoléon Ier pendant la guerre d'indépendance espagnole en janvier 1809 (depuis le 6 jusqu'au 17) où il a établi et d'où il est reparti à ses guerres d'Europe centrale.Il est actuellement occupé par l'armée de terre espagnole.