O castelo ergue-se no topo de uma colina, na cota de 330 metros acima donível do mar. Apresenta planta no formato triangular irregular, com torres nos vértices.

Ao centro da sua praça de armas abre-se uma cisterna de planta ogival, alimentada por uma fonte.

A torre Noroeste é conhecida como Torre de D. Mécia, por ali ter sido confinada aquela infortunada esposa de D. Sancho II.

No lado Norte do castelo abre-se o Terreiro de Santiago, com uma estátua do Condestável D. Nuno Álvares Pereira ao centro.

No conjunto destacam-se ainda:

• o Paço do Condes, que foi utilizado como residência oficial do conde D. Afonso.
• Os torreões de entrada, erguidos por volta de 1450. À época, uma passagem coberta unia o Paço a uma torre cilíndrica, da qual nos resta a base, e daí se fazia a ligação ao castelo. O Paço e os dois torreões apresentam traços de inspiração veneziana, onde se destacam as cimalhas de tijolos salientes.
• a Igreja da Colegiada onde se destaca a cripta.
• a fonte em estilo gótico.
• o Pelourinho em estilo barroco.