A finales del siglo XVII su unió este edificio al de la Curia Eclesiástica, integrando en el conjunto un callejón que había entre ellos.
Se cerró también el acceso que tenía desde la Plaza Bibrambla, quedando como única entrada la de la Plaza Alonso Cano.
La universidad se trasladó al edificio que hoy ocupa la Facultad de Derecho, junto a la Iglesia de San Justo y Pastor y frente al Monumento a Carlos V.
Este palacio sufrió un importante incendio en la Navidad de 1982, por lo que del palacio
primitivo sólo se conserva la nave correspondiente a la entrada
principal. El fuego destruyó totalmente la fachada de la Plaza Bibrambla, calcinando una escultura de la Virgen de las Angustias. Las llamas se contuvieron en la escalera principal, por lo que no afectaron demasiado a su patrimonio. La restauración del edificio corrió a cargo del arquitecto Pedro Salmerón y duró 20 años. En la reforma, se dotó al inmueble de ascensores, montacargas, servicios, despachos… En el proyecto estaba el traslado a la Curia del Museo Diocesano, pero al final no se hizo.