En el extremo noroeste se levanta la torre de planta cuadrada con fustes de granito empotrados en sus aristas, obra árabe en su origen, seguramente alminar de la mezquita principal.
Sobre la base árabe de esta torre se edificó otra en 1395, según lo pregona una lápida con carácteres góticos adosada a ella, formando un retablillo heráldico con las armas de Castilla y León, de Baeza y del Obispo baezano don Rodrigo Fernández de Narváez, siendo obrero Diego López, junto con Ferrán López cantero y Juan Sánchez Platero.
A mediados del XVI se renovó totalmente el segundo cuerpo.
Entre 1832 y 1862 se arruinó, tras ser derribada parcialmente por un terremoto.
Se inicia una nueva reconstrucción que no llegó a terminarse, hasta que finalmente, se terminó con arreglo al proyecto del arquitecto don Francisco Prieto Moreno.