Perteneció durante un tiempo a los marqueses de Villa Real.
Después fué Asilo de ancianos "San José".
Hacia 1925 fue adquirido por D. Lorenzo Moreno tauste que efectuó en el edificio importantes obras de reparación.
Finalmente, en 1940 fue cedido en venta a las religiosas Filipenses para colegio de enseñanza primaria y bachillerato.
El aspecto externo está totalmente transformado.
De su antigua estructura solo conserva el patio, constituyendo una valiosa pieza del gótico civil baezano de finales del siglo XV, muy bien conservado.
Es de doble galería, con arcos rebajados y moldurados sobre columnas de cuatro amplias estrias y capiteles de follaje.
El antepecho es de tema geométrico continuo, interrumpido en cada tramo por cuatro escudos encajados muy posteriormente.
Aunque posterior, la caja de la escalera que se cubre con una bóveda elipsoidal y heráldica policromada en las pechinas.