Gran patio con tres alas de edificación y la cuarta de solo el muro con amplios huecos abiertos, de medio punto.
El ala principal con dos portadas idénticas, adinteladas, con pilastras sobre ménsulas que arrancan casi del suelo y coronadas por frontón curvo y cortado, con corazón sobre cartela en su tímpano y mates de bola.
El ala de la derecha se asemeja a la fachada del Seminario, con sus ventanas de molduras cruciformes y de oreja; en dos de ellas aparece la fecha de 1719.
Es todo lo que queda de la última edición, desde la Edad Media, del palacio que los obispos mantuvieron en Baeza.
Fue el lugar de residencia de los obispos desde época medieval.
Ha sufrido varias modificaciones: la primera a principios del siglo XVI, en la época del Obispo Don Alonso Suarez de la Fuente del Sauce, la segunda a mediados del siglo XIX para ser transformado en Cuartel de Caballería del Ejército y la tercera en 1910 por el Estado y el Ayuntamiento.
En 1945 se instala un correccional para mujeres, pasando el edificio en 1946 a ser gestionado por el Patronato Provincial de Protección a la Mujer.
En 1991 se reforma para ser Centro de Congresos del Instituto Andaluz de la Mujer.
Lo más característico es su doble galería de arcos de medio punto a modo de acueducto, teniendo la arcada inferior rejería en todos sus arcos.