Pouco restou do conjunto defensivo do século XVI, constituído por uma extensa muralha de granito reforçada por torres, dominada pela Torre de Menagem, com uma barbacã. Atualmente restam-nos alguns troços das antigas muralhas, onde se abrem duas das seis portas primitivas:

• a Porta da Vila, em arco de volta redonda, flanqueada por dois torreões ameados; e
• a Porta de Montalvão, em arco apontado, junto a outra torre.