Perteneció a la familia Pérez de Barradas, Marqueses de Cortes, luego unida a la de Peñaflor que terminó dándole el nombre.
Su morfología actual es consecuencia de una serie de remodelaciones que abarcan los siglos del XVI al XVIII.
En su exterior, la fachada principal es extremadamente sobria, con un paramento liso de ladrillo, ventanas enrejadas y cuatro escudos de piedra por todo adorno.
En las esquinas sendas torres, con galerías abiertas de arcos sobre pilares ochavados.
El costado izquierdo, construido sobre la antigua Muralla medieval, se adelanta y retranquea, con unos muros enlucidos y otros mostrando aparejo de ladrillos y cajones.
En el quiebro de ambas fachadas, donde antaño estuvo la Puerta Alta, ostenta un caprichoso balcón volado, con finísimos pies derechos y arcos livianos.
En el interior, presenta un patio muy alargado, adornado en sus costados con dobles galerías de arcos sobre finas columnas de mármol toscanas; sobre los capiteles ostenta varios escudos.
En el rincón del fondo se encuentra una diáfana escalera, cubierta con cúpula elipsoidal.
Las habitaciones conservan algunos techos antiguos (la mayoría alfarjes), sobresaliendo una armadura con tirantes que cubría la sala noble principal.
También se conservan algunas puertas labradas de las antiguas.
En su interior se hallan llamativos artesonados mudéjares.