- Es una iglesia fortaleza edificada sobre los cimientos de una mezquita del siglo X, que hizo erigir el monarca Alfonso X El Sabio en honor de la Virgen tras la toma de la ciudad.
- Se construye a partir de una antigua mezquita islámica que se transforma en iglesia fortificada en tiempos de Alfonso X El Sabio hacia el año 1264, quien refuerza su cimentación aprovechando los restos de un edificio romano próximo, dotándolo de cubiertas abovedadas y fortificando el santuario con cuatro torres, dos de planta hexagonal y las otras dos de planta cuadrangular, utilizándose la planta baja de las primeras como capilla mayor para la Virgen de los Milagros.
- Aún se conservan el muro de la quibla donde se situaba el mihrab y el aspecto almohade de la construcción, que se hace patente en las líneas horizontales y lisas con resalto de la parte alta que remata exteriormente la torre hexagonal y en sus bóvedas esquifadas.
- En esta iglesia instala el rey Alfonso X su nueva Orden militar de Santa María de España, que pronto desapareció la quedar fundida con la Orden de Santiago.
- Ya como castillo sirvió de defensa contra nuevas invasiones del norte de Africa
- Más tarde Sancho IV lo donaría, junto con la villa, al almirante genovés Benedetto Zaccaria, y posteriormente a Alonso Pérez de Guzmán El Bueno, quien a su vez lo dona a su hija Leonor de Guzmán en 1306 con motivo de su matrimonio con Luis de España, dando comienzo así a la Casa de los Medinaceli, señores de la villa en tiempos de Isabel de la Cerda y Guzmán.
- En el siglo XV se acometen nuevas obras de ampliación, con una sacristía de tres tramos cubiertos por bóvedas góticas y varias dependencias a las que se accede desde la terraza sobre las bóvedas de la iglesia y conocida como patio de armas.
- Con Luis de la Cerda la iglesia-fortaleza recibe la presencia de Cristóbal Colón y de Juan de la Cosa, entre otros marinos ilustres, pero su importancia decae tanto como santuario (al construirse la nueva iglesia).
- Cuando la ciudad se incorpora a la Corona de Castilla en 1729, la Casa de Medinaceli retiene la propiedad del castillo que es clausurado en 1868 y abandonado hasta su restauración, por los años 40 del siglo XX.
- Las circunstancias de la construcción de esta iglesia-fortaleza quedaron reflejadas en las Cantigas de Alfonso X, y mucho más tarde, en 1823, su estado queda minuciosamente descrito en la obra de Fernán Caballero "Un servilón y un liberalito", novela que queda ambientada en este viejo castillo-santuario.
- Actualmente pertenece a una famosa firma bodeguera portuense, y se encuentra abierto al público para su visita y en el se realizan festivales de música medieval así como la catedrá de estudios de Alfonso X.