O castelo, em estilo gótico, apresenta planta heptagonal reforçada por torres de planta circular nos vértices. A sua forma, novidade na arquitectura militar portuguesa à época, parece ter sido inspirada no Castelo de Angers, na França. É dominado pos uma imponente torre de menagem, de planta quadrangular, que se ergue a cerca de vinte e cinco metros dealtura, dividida internamente em dois pavimentos acima da linha do adarve, ambos cobertos por abóbada em cruzaria de ogiva. O pavimento inferior serviu de cárcere. Foi utilizada a pedra mármore nos cunhais e nas janelas góticas. A porta de acesso à torre é em ogiva.
Esta torre protege o portão de acesso, a Norte, em arco apontado. Pelo lado Sul, a Porta de Beja determina um eixo viário interno em linha reta, ligando as duas portas. O conjunto conta com mais três portas, entre as quais a Porta do Relógio e aPorta do Outeiro. Na praça de armas abre-se uma cisterna e pode-se identificar os vestígios da Capela de São Vicente e as ruínas do paço ducal.
A cerca medieval da vila, não sobreviveu até nós. A defesa do castelo era complementada por uma barbacã, de que se conservam ainda importantes troços a Sul, Norte e Oeste, compostos por cortina reforçada por cubelos de planta quadrangular. É a essa barbacã reedificada por D. Manuel I, que corresponde a porta gótica encimada por brasões reais sobrepostos.
Fonte: Wikipédia