En época de al-Andalus, la ciudad es conocida con el nombre de Qastuluna.
De este periodo es la construcción de la Torre Mayor de la fortaleza y otra situada junto a las cisternas.
En el periodo musulmán Qastuluna es el escenario de la batalla definitiva entre Abderramán I y Yusut en el año 786 en la Batalla de Qastuluna.
Más tarde en el año 890 entre Abderrarnán III y Shaliya (reyezuelo Ubay ben Alah ben al-Shaliya), rebelde «muladí», conservándose aún los restos del castillo árabe que Shaliya ocupó durante casi veinte años.
Ante el avance de los cristianos, en el siglo XII se levanta una
torre, que será la que se utilice como torre del homenaje del futuro Castillo
de Santa Eufemia.
Alfonso VI el Batallador arrebata la ciudad de Cazlona temporalmente a los musulmanes
El castillo se conquista en 1227 por Fernando III el Santo, y se construye el
Castillo de Santa Eufemia dejando la Torre árabe como Torre del
Homenaje. Concediéndola al Concejo Baezano.
En 1350 convertida en ruina y refugio de bandoleros, Fernando IV concede Cazlona a Linares.
El nombre de Santa Eufemia se le debe a que a las afueras del castillo se construyó la Ermita de Santa Eufemia.
La Torre del Homenaje de origen musulmán es de planta cuadrada, de 9 m. de lado. En la actualidad se observa que ha perdido parte de su paramento. La fábrica es de adobe.
Junto a ella aparecen restos de otras torres menos importantes.
El conjunto de la planta del castillo tiene 130 x 90 m. de longitud.