Junto al alcázar, es el único palacio que permitía el Fuero.
Al igual que en otras casas señoriales, destaca su escalera interior, con una torre-lucernario como remate y el escudo del obispo Juan Francisco Navarro Salvador y Gilaberte en su techo, a quien debemos la obra del palacio junto al también obispo Juan Navarro Gilaberte, quienes rigieron la diócesis entre 1705 y 1765.
En el piso superior, se han conservado salones en los que residía el prelado, así como la capilla privada del obispo decorada con ingenuas pinturas, de estilo barroco, y la cocina. El lado que da al río tiene una hermosa galería de madera, algo que, es muy típico de la arquitectura de Albarracín.
En la actualidad, el Palacio Arzobispal acoge el Museo Diocesano, siendo asimismo la sede de la Fundación Santa María de Albarracín.
El acceso al Museo se hace por el claustro de la Catedral, con el que el palacio está conectado.
Una de las piezas más emblemáticas es un pez de cristal de roca del siglo XVI.
Del mismo siglo son los bellos tapices flamencos que se exponen en una de las dependencias, donados por el cabildo de la Catedral al obispo.
También merecen nuestra atención los objetos de orfebrería, entre ellos una cruz procesional de Noguera, del siglo XIV.