Debajo de la azotea y jardines de la casa principal del siglo XVI de
casi cien metros de largo, y enfrente del Convento de Carmelitas
Descalzos de Jaén (Convento de Santa Teresa).
El Conde de Torralba era dueño de buena parte de las casas que rodeaban el campillejo o plazuela de su nombre, incluían parte de la Calle de las Novias y casas en el entonces callejón de su nombre, la hoy conocida Calle del Conde, a diferenciar entonces de otro callejón del siglo XVIII conocido como del conde, el Callejón del Conde de Sevilla la Nueva también llamado de los Vélez y hoy de Calle Valparaiso.
El Conde de Torralba era vecino de Madrid casado con la tataranieta de Alonso Vélez de Anaya y Mendoza, doña Mencia de Villafañe y Vélez de Mendoza.
Poseía otra casa de 15 metros de frente lindando por sus espaldas con la muralla y torreones de su propiedad, que adquiriera en 1630 al cabildo escrituradas precisamente por don Alonso Vélez de Anaya, entonces caballero veinticuatro.
El Parador Nacional, la Casa del Conde de Torralba conocida ya en el
siglo XVIII como la "Casa de las Cuatro Torres" contó con tres
caballerizas.
Fueron los condes de Torralba los mayores benefactores del Convento de San Francisco del que eran patronos de su capilla mayor, su lugar de enterramiento, el único convento de la provincia que vivió sin propiedades ni censos de la caridad por el voto de pobreza.
Con el tiempo el palacio fue sede temporal en 1891 de la diputación provincial y gobierno civil.
Desaparecido sobre su solar se asienta el actual Colegio de Santo Tomas.