• Situada a las espaldas de la Capilla Mayor de la Catedral de Jaén (Catedral de Jaén. Capilla Mayor) en la Calle Almenas, separado de ésta por la Calle Valparaiso y rodeado de un muro almenado que cierra con la Calle Valparaíso.
  
• Con referencia catastral 0602106, 0602301VG3800S0001UJ.
• Lo mandó construir D. Alfonso Vélez de Mendoza, Caballero Veinticuatro de Jaén y su Procurador en Cortes, en el año de 1506.
• Según el Deán Mazas en su origen fue de estilo gótico de lo cual nada se conserva.
• Se sustituye por la actual, renacentista, en 1630, según reza la cartela que sostiene un angel en la clave del arco central, de los tres que daban acceso a la logia o porche del edificio.
• La planta baja corresponde a un pórtico que se abre a un pequeño jardín, formado por tres arcos de medio punto sobre columnas toscanas.
• Marcan las enjutas tres triángulos resaltados que dejan un espacio central ocupado por un círculo, igualmente resaltado.
• Una cornisa tangente a los arcos da paso a un cuerpo ocupado por tres ventanas enmarcadas por molduras de acodo en oreja, en cuyos lienzos intermedios aparecen esculpidos sendos escudos nobiliarios bajo magníficos yelmos con cimera y lambrequines ondulantes y gruesos, descansando sobre ménsula.
• El primer blasón, que es el de la izquierda desde el frente, se corresponde con los linajes de Guevara, Mendoza, Ramírez de Arellano y Anaya. Don Alonso Vélez de Anaya y Mendoza fue un gran señor que vivió los últimos años del S. XVI y gran parte del XVII. Ocupó grandes cargos en el Corregimiento de ciudades y del Ejército.
• El segundo escudo nobiliario, cuartelado, se corresponde con los linajes de Aranda; el 2º y 3º cuarteles pertenecen a las armas del linaje Muñoz. El 4º cuartel es por Molina.
• Una segunda cornisa da paso a un segundo cuerpo con tres pequeñas ventanas, rematado con alero saliente.
• En su patio se rodarón algunas escenas de la película Roberto el diablo, en 1957 (grabaron en 1956) . En esta trabaja una principiante María (Mari Conchi) Mahor, con Germán Cobos.
• En el recoleto jardincillo hay una fuente adosada.
• En la actualidad es sede del Colegio Oficial de Arquitectos, que ha levantado un edificio contemporáneo poco acorde con la nobleza del palacio y el entorno de la Catedral de Jaén.

Habitaba en este palacio una muy ilustre y adinerada familia de Jaén. Tenían esta familia una hermosísima hija caritativa con los más desfavorecidos.

Todos los ricos y apuestos galanes de la ciudad y de otras la pretendierón.

Se enamoró de un joven humilde. Unidos en el más secreto romance, disfrutarón durante un tiempo el uno del otro.

Un día el padre de esta descubrió la relación, que para él era una verdadera humillación y verguenza, decidiendo aplicar una drástica solución.

El padre decidió encerrar a la joven en la alcoba más alta de una torre que en aquel entonces tenía el Palacio. Pero no pensó en un encierro temporal y llevadero, sino en emparedarla, levantando un muro en la puerta de la alcoba, se dice que incluso tapió la ventana dejando sólo un pequeño agujero para que pasara el aire.

El joven iva todos los días al pie de la Torre, y ella, a traves del pequeño orificio, lanzaba a la calle mensajes de amor, escritos en las hojas de un libro de oraciones, único bién que sus padres le dejarón. Para escribir en sus páginas, con una astilla se pinchaba en el dedo, utilizando a falta de tinta su propia sangre. Y así siguió hasta su muerte.

Aun hoy el fantasma de una hermosa joven rubia y de ojos claros pasea su tristeza por las salas del Palacio de los Velez.