Ya en el XVIII, esta familia se convierte en la más influyente de Albarracín. Será entonces cuando remodelen la casa y decoren su fachada con elementos neoclásicos propios de la época.
Cuenta la leyenda que un miembro de la familia Navarro se casó con una joven andaluza que, para tener en Albarracín recuerdos de su tierra, hizo pintar la fachada de este color.
Por otro lado, también se dice que estos colores son reminiscencias que han llegado hasta nosotros debido a las relaciones de trashumancia que había entre estas tierras y Andalucía.
Lo que más destaca es su torre-lucernario y sus escaleras.