El palacio era enorme, de 57 x 53 varas, contaba con dos cañones, torre, oratorio, un gran patio con corredor, tres bodegas y un jardín propio con ocho naranjos y dos limones.
A su muerte, paso a manos de los Marqueses de Villardompardo y posteriormente a los Márqueses de Bélgida, que lo modificaron, vendiendo una parte del palacio a D. Fernando de Aranda a principios del siglo XIX.
En la segunda mitad del siglo XIX, sufrió una gran transformación, levantándose sobre algunas zonas del edificio un teatro, varias viviendas y el popular Casino Primitivo, que tenía su propia orquesta y por donde se dejó ver Isaac Albéniz, cuando residió en Jaén.
En 1892 lo adquirió el arquitecto Don Justino Flórez Llamas, que en 1919 vendió la parte principal del palacio al Casino Primitivo.
En 1928 volverán a realizarse nuevas modificaciones, que alterarán de forma sustancial su fisonomía.
Se le encargó al arquitecto Justino Flores Llamas una profunda remodelación.
El palacio es una muestra de la pervivencia del arte hispano-musulmán en los territorios conquistados por los cristianos, reflejando el gusto predominante, dentro de la arquitectura civil, a partir del siglo XV.
Del palacio original solo quedan algunas estancias y un patio en parte columnado.
En el patio, más bajo que el nivel de la calle, quedan siete arcadas, de un gótico tardío, que antaño formaban la logia o corredor por donde se salía al jardín interior.
En el patio se muestran escudos del linaje Torres de Portugal. Blasón ovalado. Cuartelado en aspa: lo/4o, las cinco torres de los Torres. 2º/3º, las cuñas de Portugal. Bordura con siete castillos. También hay representaciones de otro escudo con una banda con dos lobos andantes en palo arriba, y otros dos abajo. También hay otro escudo ovalado con corona de marqués que debe corresponderse con el linaje Guzmán aún cuando carece de bordura con sus lijes y leones.
Uno de los elementos que parece de los más antiguos es el hermoso “lauburu” que puede contemplarse en uno de los arcos de las galerías que dan al patio.
De aquella época son sus magníficos artesonados mudéjares y algunas decoraciones en yeserias.
Destaca el Salón Mudéjar de 5x15 metros cubierto con alfarje de lacería, decoración de piña con mocárabes y zapatas antropomorfas con escudos de la nobleza familiar.
En el centro del artesonado mudéjar una piña central de mocárabes que pende de una estrella de lacería de 24 puntas.
También se conservan restos de decoración de yeserías en una gran portada mudejar.
En el salón contiguo puede verse también otro artesonado decorado con ruedas de lacería de a 10 con estrella en el centro.
Otro tercer salón muestra artesonado con dibujos florales.
La torre del palacio, hoy desparecida, aún mantiene su planta en el sótano, conservándose también la puerta por la que se accedía a ella, aunque en la actualidad se encuentra cegada.
La fachada principal y algunos salones datan de 1920, fecha en que se instaló en el edificio el famoso Casino Primitivo.
La fachada se concibió en dos galerías de ladrillo rojo, de gusto regionalista.
Actualmente, tras una delicada restauración, el edificio acoge los servicios de la Concejalia de Cultura del Excmo. Ayuntamiento y Biblioteca Municipal.