El Marqués de Algarinejo fue también Conde de Luque y Señor de Zuheros.
En 1820 fue adquirido por su abogado de cámara, Don José Fernández Guerra.
Desde 1840 fue la sede permanente de su esposa Doña Francisca Orbe y de la Plata y aquí residieron por temporadas, sus hijos Aureliano y Luis Fernández Guerra y Orbe, ilustres literatos y académicos de la Real Academia Española y de la Historia.
Sus herederos Sres. Valdés Fernández Guerra en 1940 la donaron para Cuartel de la Guardia Civil.
Posteriormente en 1988, fue transformada en el Hotel Zahaira según el proyecto del arquitecto José Luis de Lope.