O castelo apresentava planta no formato quadrangular, sendo as suas muralhas, em granito e xisto, ameadas e reforçadas nos três ângulos externos por cubelos(dois de planta retangular e um, hexagonal), envolvendo uma considerável praça de armas, atualmente reduzida a um amplo terreiro.

Exemplo característico da arquitectura militar medieval, em parelho de granito e xisto argamassado com barro, conservam-se dois panos de muralha, ligando um deles a torre quadrada a um cubelo.

A torre apresenta planta quadrangular, em aparelho incertum. Vizinha a esta, uma outra torre de construção mais recente, também de planta quadrada (Torre do Relógio?), ergue-se apresentando cantaria nos vértices e aparelho incertum a meio. É dividida internamente em três pavimentos, o último preparado para receber sinos, rematado em pirâmide. É encimada, nos vértices, por quatro pináculos de granito.

Um pouco mais abaixo vêm-se os restos da cintura de muralhas da vila.

O pequeno castelo apresenta planta com o formato ovalado, em estilo românico. A muralha, em pedra de xisto miúda, é rasgada a Sul pela porta, comunicando com o arrabalde da vila medieval e os caminhos em direcção a Freixo de Espada à Cinta, Alva, Torre de Moncorvo e Miranda. Intra-muros, a vila estruturava-se em torno da Rua Direita, que definia um eixo Norte-Sul. Extra-muros foram erguidos a Igreja de Santa Maria e, no lado oposto, fronteiro à porta do castelo, o largo com a Casa da Câmara e o pelourinho.

O tipo de organização do povoado de Mós revela padrão semelhante aos de Freixo de Espada à Cinta, Urrós e Alva. Relativamente aos castelos de Freixo de Espada à Cinta, Urrós e Alva, com os quais possui afinidades, o de Mós é o único a possuir a Igreja de Santa Maria implantada no lado oposto ao largo desenvolvido fronteiro à porta principal da cerca.

O conjunto apresenta planta aproximadamente retangular, com as dimensões de cento e trinta metros de comprimento por quarenta de largura, com muros de pedra, de aproximadamente dois metros de altura.