Los orígenes del seminario se remontan al año 1592, en época del obispo D. Sancho Dávila.
El edificio actual fue levantado bajo los auspicios del obispo D. Luís Belluga, con la intención de mejorar el nivel de formación y estudio de los seminaristas.
En este seminario impartió clases el humanista Licenciado Cascales y fue su rector Salvador Jacinto Polo de Medina.
Será otro obispo, Rubín de Celis, el que en la práctica, convirtiera el Seminario de San Fulgencio en una Universidad, al dotarlo de cátedras y mejorar sus planes de estudio.
Actualmente alberga la Escuela Superior de Arte Dramático y Danza.