O castelo apresentava planta poligonal irregular orgânica (adaptado ao terreno), em alvenaria de granito, abundante na região, e a sua arquitectura combinava elementos do estilo românico e do gótico. O conjunto compreendia dois espaços principais: a cidadela (alcáçova), dominada pela Torre de Menagem, e a almedina, delimitada pela cerca. Destes muros restam alguns troços, a saber:

• três, a leste: (a) da Rua Tenente Valadim até à Torre dos Ferreiros; (b) na Rua Lopo de Carvalho; e (c) da Porta da Erva até ao Torreão na Avenida Bombeiros Voluntários, apresentando vestígios das ruínas deste último;
• dois, a norte: (e) na Avenida Bombeiros Voluntários; e (f) na Travessa do Povo, junto à Porta d'El Rei;
• um, a oeste: (g) a partir da Rua Salvador do Nascimento, integrando a denominada Porta Falsa.

A Torre de Menagem, de planta pentagonal irregular, em estilo gótico, ergue-se no topo de uma colina, alicerçada na mole granítica. Originalmente apresentava dois pavimentos, acedidos por uma porta de verga reta. Atualmente o seu interior divide-se em três pavimentas.

A chamada Torre Velha, isolada das muralhas, de planta poligonal, com uma janela de arco de volta perfeita, caracteriza o recinto mais antigo, em torno da qual se erguia a alcáçova.

A chamada Torre dos Ferreiros, a meia encosta, apresenta planta quadrangular com porta dupla em cotovelo, com os respectivos arranques de troços anexos, sendo a principal referência da quase desaparecida cerca da cidade. Apresenta, em uma das suas faces, um dos Passos da Paixão originalmente integrante da Via Sacra.

Com relação às portas rasgadas nos muros, destacam-se:

• Porta da Erva, do Sol ou Porta da Estrela, a leste, exibe perfis distintos intra e extra dorsos. No primeiro forma arco de volta perfeita com aduelas irregulares, e, no seu correspondente, arco apontado, com vestígios de ter sido originalmente mais amplo, também de volta perfeita.
• Porta dos Ferreiros, a leste, constitui-se em uma entrada em cotovelo, protegida pela torre de planta quadrangular, apresentando dois vãos de acesso: um na face oeste, com arco abatido no intradorso e de volta perfeita no extradorso, encimado por passadiço; outro na face sul, em arco apontado no intradorso e de volta perfeita no extradorso. No ângulo interior, encontra-se um nicho gradeado em ferro constituindo um oratório sob a invocação do Cristo Crucificado, conhecido por Senhor dos Aflitos.
• Porta d’El Rei, a oeste, em arco apontado.

Com relação às portas admite-se que a Porta da Covilhã e a Porta dos Curros, as mais afastadas na malha urbana, deveriam existir desde a construção inicial, uma vez que entre ambas se estende a Rua Direita, via principal do burgo. Paralelamente, um segundo eixo viário foi aberto entre a Porta da Erva e a Porta d’El Rei, longitudinalmente em relação à Rua Direita, cruzando-a a meio caminho, em época posterior.

Fonte: Wikipédia