- Estas torres son el elemento más representativo del conjunto urbano de Torreperogil.
- En los más variados documentos del pasado, estas torres, aparecen como Castillo.
- Este castillo fue dado por Fernando III al infanzón Pero Xil de Zático en su pago a su presencia guerrera en la toma de Baeza y Úbeda.
- Su construcción se puede datar entre 1230 y 1240.
- Este castillo dio origen y nombre a la villa construida tras la batalla de las Navas de Tolosa.
- Existían en 1887 cuatro torres, aunque en la actualidad sólo quedan dos.
- Una es un torreón cuadrado, tiene acceso por una puerta adintelada que se comunicaba a través del adarve. En su interior dos estancias abovedadas y comunicadas por la parte superior.
- La otra, conocida como torre ochavada, tiene planta poligonal, está construida en tosco sillarejo y coronada con potentes zapatas para el soporte de los matacanes. Tiene acceso por una estrecha puerta ojival.
- En el Patio de Armas del castillo se encuentra el aljibe, de planta rectangular cubierto por bóveda de medio cañón, accesible a través de una puerta y una escalera.
- Durante los siglos XVIII-XX el castillo sufrió una intensa reestructuración convirtiéndose en necrópolis.
- Restaurado en 1988, se rescata, construyéndose el Auditorio Municipal.
- Estas torres tienen incoado expediente de declaración de monumento histórico.
- Código PIA 230880001.
- Declarado Bien de Interés Cultural.