En 1705, el Rey Felipe V otorgó el título de Conde de la Quintería a
Eugenio José de Miranda y Gamboa de la nobleza local, y fue expedido a
nombre de Manuel Francisco de Cárdenas y Palomino, su yerno, primer
Conde de la Quintería.
El infante Carlos III, hijo de Felipe V,
en uno de sus viajes, pernoctó en este palacio el 27 de octubre de 1731, el entonces infante Carlos III, Rey de España a partir del año 1759.
Se hospedó en este palacio para evitar un brote de viruela que asolaba Andújar.
Por la tarde se distrajo cazando desde su ventana y al anochecer presenció desde las ventanas de su habitación los fuegos de artificio que se prepararon para tal ocasión en Andújar.