Fue fundado por el Cardenal Silíceo en 1551, bajo el patronazgo de el Rey Felipe II, con el nombre de Nuestra Señora de los Remedios para acoger a jóvenes nobles, no de sangre nobiliaria, con el fin de hacer de ellas unas buenas madres cristianas por lo que su estancia se prolongaba hasta que contraían matrimonio aunque tenían la posibilidad de quedarse de por vida si no se casaban o si no ingresaban en un convento. Adquirió esta casa mediante compra hecha al Príncipe Mélito.
En 1902 se amplían las instalaciones del colegio porque el número de alumnas llega al número de 100. En 1988, el Cardenal González Martín, modifica los estatutos del Real Colegio pasando su propiedad a Patrimonio Nacional que lo restaura y adapta como residencia femenina.
Ubicado en la Plaza del Cardenal Silíceo, tiene una fachada de ladrillo y en ella hay dos puertas de estilo barroco por las que se accede a su interior. La puerta principal tiene una reja y sobre la reja un relieve labrado.
La iglesia, de estilo rococó, es de planta de con una nave y bóveda de cañón con lunetos. La cúpula se asienta sobre pechinas e ilumina al templo con su linterna. El retablo principal es de orden compuesto destacando el cuadro de la Virgen con el Niño a los que acompañan el Cardenal y las Colegiales en reverencia. A los lados representaciones de San José y de San Juan Bautista. El altar barroco del Evangelio representa al Cardenal siendo un niño cuando en su caida al pozo es sustentado por la Virgen María. El altar del lado de la Epístola representa a San Jerónimo con sus atributos.
En los laterales de la nave hay medallones que representan a los santos toledanos.
A los pies del templo está el Coro de Capellanes con 7 sitiales y un Facistol con un águila. Arriba el Coro donde se ponían las Colegialas con una verja de hierro y el escudo del fundador.
El Cardenal se encuentra enterrado en este sitio, bajo la cúpula. Nos lo advierte el Capelo Cardenalicio. En su centro el sepulcro del Cardenal obra de Bellver, el que hizo el Angel Caido del Parque del Retiro de Madrid. Es de piedra con la estatua yacente del cardenal, teniendo en sus esquinas a las 4 Virtudes Card¡nales (justicia, prudencia, templanza y fortaleza) y a sus pies su escudo de armas con el trigrama de Cristo (IHS).
