Antiguo convento renacentista agustino, construido en 1491 por los Enríquez, almirantes de Castilla, que llegó a albergar cátedras de gramática, filosofía, teología y latín y que fue incendiado las navidades de 1808 por las tropas napoleónicas. Su rehabilitación se ha efectuado en 2008.
El museo alberga la antigua inglesia y capilla funeraria tardogótica de los Villafañe dedicadas a las exposiciones temporales, audiovisuales y tienda de la Diputación.
La colección permanente está dispuestas en las alas del antiguo claustro, en tres plantas en torno a un patio, hoy de acero corten y cubierto, así como otra planta más de almacenes y diversas salas de restauración, didáctica, etc.