- Alfonso XI en el siglo XIV comenzó la construcción de los muros de la ciudad con tres portales.
- En 1845 Madoz señala que se advierten restos de una muralla en la población con varias torres que están en pie y vestigios de una gran fortaleza.
- En 1910 se comenta que desde la cumbre del cerro del castillo todavía partían murallas que rodeaban el pueblo y que las torres intercaladas en las murallas eran huecas unas y macizas otras y que se podían admirar dos muy fuertes en Levante, tres al Norte y otra al Sur.
- La principal puerta de la población estuvo ubicada en donde se junta la Calle Joaquín Mercado con la Plaza Mayor, junto al desaparecido Palacio de los Benavides, el cual mantenía embutido en su fachada parte de un torreón circular en el cual tenía un balcón en su azotéa.
- Aún se mantienen algunos restos de ella como el gran Torreón de Santa María del Collado.
- También quedan restos de las murallas del oeste que arrancan del torreón circular del Castillo de San Esteban y se dirigen hacia el norte.
- Otro lienzo de muralla importante es el que se conserva en la Calle Cervantes como muro de contención de la Iglesia de San Esteban.