Erguido na cota de 980 metros acima do nível do mar, o castelo, de quadrangular, é constituído por quatro torresligadas por muralhas, fechando a praça de armas. No centro desta, abre-se uma cisterna.

A torre de menagem, a norte, em estilo gótico, ergue-se a 27 metros de altura, coroada por balcões de matacães, mísulas e ameias pentagonais. As salas interiores apresentam abóbada de cantaria. A Torre Furada, a sul, apresenta planta quadrada. A Torre do Relógio e a Torre Pequena, também a Sul, apresentam ambas planta rectangular.

Externamente, a estrutura era defendida por duas linhas de muralhas, conforme o desenho de Duarte de Armas, hoje demolidas. A leste e a sul, desenvolveu-se a vila medieval.