Antecedentes
A primitiva ocupação humana de seu sítio remonta à pré-história, a um castro do período Neolítico, posteriormente romanizado, ligada, acredita-se, ao garimpo de ouro aluvional no rio Pônsul, praticado até ao final do século XX.
O castelo medieval
À época da Reconquista cristã da Península Ibérica, admite-se que o castelo medieval tenha sido iniciado por D. Sancho I, dentro da política de fortificação que desenvolveu na Beira, diante das ameaças representadas pelo Reino de Leão a Leste, e dos Muçulmanos, a Sul.
Os domínio de Penha Garcia e seu castelo foram doados em 1220, por D. Afonso II (1211-1223), à Ordem de Santiago, para que os povoasse e os defendesse.
Penha Garcia recebeu Carta de Foral, passada por D.Afonso III (1248-1279), em 31 de Outubro de 1256. Esse documento assegurada aos moradores de Penha Garcia o foro, usos e costumes de Penamacor.
D. Dinis (1279-1325) doou os domínios da vila e seu castelo, em 1303, para a Ordem dos Templários, na pessoa de seu mestre no país à época, Vasco Fernandes. Diante da extinção da Ordem, estes passaram então para a Ordem de Cristo.
No século XVI, com a integração das ordens militares à Coroa, voltou novamente à posse régia. Encontra-se retratado por Duarte de Armas (Livro das Fortalezas, c. 1509), tendo a vila recebido Foral Novo passado por D. Manuel I (1495-1521) em Santarém, a 1 de Junho de 1510.
Do século XVII aos nossos dias
A partir do século XVII, a sua comenda passou para os condes de São Vicente da Beira.
Foi couto do reino, ou de homiziados, até que D. Maria I (1777-1816) os extinguiu em 1790.
No século XIX, com a extinção do Concelho em 6 de Novembro de 1836, inciou-se o processo de degradação do castelo, agravado pelas atividades de caçadores de tesouros.
Património não classificado pelo poder público, do castelo medieval restam-nos, atualmente, alguns troços de muralhas, em bom estado de conservação (recentemente recuperados), e um canhão antecarga, de alma lisa, na povoação.