Las primeras casas de la pedanía se construyeron junto a la vaguada en la que se encuentra el Santuario.
A finales del siglo XIX y primeros años del XX algunas familias de Baeza que habían hecho fortuna en América levantaron caserones en la zona como Domingo y Francisco Chinchilla.
En 1907 se inaugura el Tranvía de la Loma que unía La Yedra con Baeza y Úbeda. Se conserva la antigua Estación del Tranvía de la Loma en la Yedra.
En los años 60 empieza un lento incremento de edificaciones de la pedanía.