Construído em alvenaria de pedra, apresenta planta poligonal irregular (orgânica), acompanhando o afloramento rochoso em que se ergue, com muralhas de faces predominantemente retas.
Originalmente em estilo românico, as reformas que lhe foram introduzidas no século XIII conferiram-lhe o aspecto gótico.
Do antigo e austero castelo medieval, envolto por um jardim público de onde se descortina uma invejável panorâmica, restam atualmente apenas a sólida Torre de Menagem, a Porta de Armas (no ângulo nordeste) e a arcaria de suporte a dois distintos panos de muralhas que servem de parapeito a um miradouro sobre a cidade.
A Torre de Menagem, com planta quadrangular, invulgarmente localizada no centro da praça de armas, compunha-se originalmente por três pavimentos, tendo os dois superiores ruído no terremoto de 1531. As suas feições foram descaracterizadas por obras promovidas no século XIX.
O primeiro pano de muralhas é reforçado por torres cilíndricas e rasgado por aberturas retangulares. Os baluartessetecentistas distribuem-se ao redor da povoação, a meia encosta.
Na antiga praça de armas, pelo lado oeste, erguem-se as ruínas do antigo Paço dos Condes de Abrantes, iniciado em torno de 1530 pelo Alcaide-mor da Vila, Diogo Fernandes de Almeida, aproveitando aquele trecho das muralhas. Esta edificação foi substancialmente modificada no século XVIII por iniciativa do 1° Marquês de Abrantes, D.Rodrigo Anes de Meneses. O Paço dos Marqueses de Abrantes, marcado pela grandiosidade dos seus elementos arquitetônicos em estilo barroco, entre os quais se destaca a loggia, arcada de onze vãos de volta perfeita, ladeada simétricamente por dois torreões cilíndricos.
Ainda no interior do recinto amuralhado ergue-se a Igreja de Santa Maria do Castelo de estilo gótico, convertida em museu histórico, onde se observam coleções de escultura romana, escultura tumular do século XV e século XVI, além de painéis de azulejos sevilhanos e outras obras de arte.
