O Castelo de Outeiro de Miranda, na cota de 812 metros acima do nível do mar, apresenta planta ovalada irregular orgânica, com espessa muralha em pedra de granito, abundante na região.

Em seu interior identifica-se a ruína de uma construção retilínea, com vão dintelado, onde foi erguido um marco geodésico.

O acesso era efetuado por uma porta em arco pleno, da qual são visíveis os seus vestígios.

No lado Sul, identificam-se ainda os restos de um baluarte.

O castelo, vizinho à povoação, foi erguido em estilo românico, tendo as suas muralhas sido reforçadas por quatro cubelos (dois facetados e dois cilíndricos).

Ao centro da praça de armas ergue-se a torre de menagem, de planta quadrangular, com cinco metros de lado, em aparelho simples de xisto quartzítico, argamassado. Nos alçados Leste e Sul, rasgam-se janelas em cantaria. A Oeste rasga-se a única porta, a seis metros de altura, também em cantaria. Era primitivamente acedida por uma escada de madeira, amovível. No lintel, inscreve-se a cruz pátea templária e uma inscrição epigráfica, que é traduzida como: Gualdim Pais, mestre geral dos Templários, mandou fazer o castelo de Pena Roia, iniciando os trabalhos a 4 das Calendas de ... era de 1204 sendo freires assistentes frei João Francisco ..., fonte da datação normalmente aceite de 1166 da Era Cristã. Internamente a torre era dividida em três pavimentos.

Próximo a esta torre existe uma pequena torre circular com uma base em talude de execução recente.

A povoação foi outrora envolvida por uma cerca amuralhada.

Castelo de montanha, de pequenas dimensões, apresentava planta elíptica, orgânica, com muralhas de alvenaria de pedra argamassada, com uma espessura aproximada de 1,5 metros e, em alguns troços, até três metros de altura. Embora carecendo de maior pesquisa, o seu sistema defensivo é rudimentar, não tendo sido identificada uma torre de menagem. De acordo com as Memórias do Abade de Baçal, na primeira metade do século XX, identificavam-se na praça de armas vestígios de edificações, e pelo exterior, vestígios de fossos.

Localizado em posição dominante a Oeste da vila medieval, o castelo apresentava planta quadrangular irregular, em aparelho de granito.

A cerca era constituída por uma cintura envolvente de muralhas na qual se rasgavam originalmente cinco portas. Dessas portas restam apenas os vestígios de uma, denominada como Porta Sul ou Arco de D. Dinis, em arco apontado, com as dimensões de 3,5 m