Colegio seminario de la Inmaculada Concepción fundado en 1603 por acuerdo del cabildo colegial, el ayuntamiento y el obispo Fonseca, e inaugurado en 1624.
Su objetivo era promover la enseñanza secundaria entre los jóvenes de la ciudad y su abadía, que debían prestar servicio en el coro de la Iglesia Mayor, mediante la dotación de una decena de becas y bajo la dirección de un rector y un vicerrector.
Tras suprimirse, junto con la colegial, sería refundado como sección del seminario de Guadix, pero mantuvo una lánguida existencia hasta su desaparición a comienzos del siglo XX.
En 1945 acogió al colegio de las misioneras del Divino Maestro y recientemente ha sido remodelado por completo para acoger una residencia de sacerdotes.
La fachada, originalmente de verdugadas de ladrillo y cajones de mampostería, está en la actualidad muy transformada, presenta una distribución irregular de vanos en la que destaca su sencilla portada resuelta mediante arco de medio punto enmarcado por pilastras de ladrillo, tras la que se abre un gran patio interior con galerías apeadas sobre pilastras.