- La construcción de la primitiva fortificación data de los siglos XIII y XIV, con estructura y detalles de torres y puertas característicos del reino de Granada. Aunque algunos elementos fueron añadidos más tarde.
- Se encontraba en una posición de frontera, defendiendo el reino de Taifas, de Algeciras.
- En la época cristiana (siglos XV al XVII), ya contaba con la muralla, torres y el alcázar-palacio.
- Su planta es de forma irregular
- El recinto está en parte almenado y protegido con torreones cuadrangulares en los ángulos que forman los lienzos, protegidos por el norte y suroeste con barbacanas (Barbacana).
- Destacan las torres de su entrada (Torre Albarrana), con elementos defensivos como las barbacanas que defienden el acceso del castillo, perforadas con saeteras y una puerta en recodo (Puerta en Acodo) dentro de un torreón y abierta bajo un bello arco peraltado enmarcado por otro de herradura.
- Entrando por el arco de la Villa (Puerta de la Villa), se encuentra el Alcázar de los Condes de Castellar o Palacio del Marqués de Moscoso, formando parte de la fortaleza y muy transformado.
- Los materiales empleados en este conjunto de fortificaciones son de mampostería con piedras más o menos labradas y regulares, y ladrillos en los arcos.
- Desde el pequeño patio de armas (Patio de Armas) se accede al caserío interior (Castellar Viejo), con casas blancas y calles estrechas y sinuosas cuajadas de flores.
- A partir del recinto fortificado, la población se desarrolla en su interior, incorporando algunos elementos a la muralla, con la intención de comunicar las casas adosadas a ella, que son las que primero se desarrollan.
- La acumulación del caserío intramuros a través del tiempo se corresponde con sus orígenes tardomedievales.
- Entre los edificios destacan el Alcázar de los Condes de Castellar, con la Torre del Homenaje, el Ayuntamiento Viejo y la Iglesia del Divino Salvador, de estilo barroco.
- Más bien parece una alcazaba, en la que el Alcázar de los Condes de Castellar sería la zona militar separada de la zona administrativa y civil.
- Se conserva en buen estado la entrada (Puerta en Acodo), con arcos de herradura, que daba paso al recinto dentro del cual se cobija el poblado al amparo del castillo.
- Fue restaurado parcialmente en el año 1979.
- Fue declarado Bien de Interés Cultural con la categoría de Monumento (código: 110130001). Bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.