Het paleis van Margareta van York werd uitgevoerd in Brabantse gotiek naar een ontwerp van de legendarische bouwmeester Antoon Keldermans. Onder het voorzitterschap van Filips de Schone vergaderden er de ridders van het Gulden Vlies en Keizer Karel werd er tussen 1502 en 1515 door zijn oma en tante, respectievelijk Margareta van York en Margareta van Oostenrijk opgevoed. De ontvangstzaal van het paleis werd in latere tijden omgebouwd tot stadsschouwburg. De prachtige, in neo-rococostijl uitgevoerde zaal werd nog maar pas, n.a.v. het Keizer Karel-jaar, in haar oude luister hersteld. Begin van de 17e eeuw werd het gebouw eigendom van de Spaanse hertogen Albrecht en Isabella, die het op hun beurt in 1611 aan de Jezuïeten schonken.