Estos dos edificios, construidos en estilo gótico-mudéjar, son los más antiguos, entre los de carácter civil, que se conservan actualmente en la capital. Su construcción data del siglo XV y su nombre hace referencia a sus primeros propietarios, la familia de los Lujanes, ricos comerciantes de origen aragonés. De este linaje se conservan varios escudos, que aparecen en la portada gótica de la fachada principal.
Según la tradición, en la torre estuvo alojado el rey Francisco I de Francia (1494-1547), hecho prisionero en la batalla de Pavía (1525).
Actualmente es la sede de la Real Academia de Ciencias Morales y Políticas.