El colegio de los Jesuitas fue construido por orden del prelado Gutierre Vargas Carvajal, el 17 de abril de 1555 y bendecida por el mismo Francisco de Borja.

La iglesia sigue el modelo de la orden con la planta de una sola nave con cubierta de artesonado curvo, las capillas laterales se abren en de los espacios libres entre los contrafuertes. En el interior destaca la decoración Apóstoles, Santos, y los propios fundadores y temas con la Pasión.. 

Desde la desamortización de Mendizábal la estructura del colegio ha sufrido diferentes cambios de usos, como hospicio, casa de salud mental y en la actualidad sede de la UNED y de la Escuela Oficial de Idiomas.