O castelo ergue-se em posição dominante sobre a cidade, em um monte de afloramentos de granito e xisto, na cota de 543 metros acima do nível do mar. Apresenta planta poligonal irregular, orgânica (adaptada ao terreno), no estilo românico e gótico.

Além da cerca interna, percorrida por adarve, onde estão compreendidas a alcáçova, dominada pela Torre de Menagem, uma cerca externa circunda o conjunto em cota inferior.

O conjunto era acessado por duas portas: a Porta do Sol, a sul, e a Porta da Vila (Porta dos Figos, do Aguião, do Norte ou dos Fogos), a norte, flanqueada por dois cubelos, um de planta quadrada e outro, circular.

A torre de menagem, de planta quadrangular, descentrada a oeste na praça de armas, divide-se internamente em três pavimentos, com pisos e escadas de madeira, iluminada por frestas, algumas das quais transformadas em janelas ao final do século XVI. Era originalmente acedida por porta elevada a cerca de 2 metros acima do solo. Atualmente existe porta ao nível do pavimento térreo. É encimada por ameias.

Extra-muros ergue-se a antiga cisterna de pedra lavrada, com as dimensões aproximadas de vinte metros de comprimento por dez de largura. O teto é abobadado com ogiva nervada sustentadas por quatro arcos apoiados em pilares. Acredita-se que seja um dos exemplares mais bem conservados no país.