A sua construção remonta ao século XIII, tendo sido doado por Afonso III de Portugal (1248-1279) aos cavaleiros da Ordem de Avis. Foi reconstruído por Dinis I de Portugal (1279-1325). À época da Guerra da Restauração da independência portuguesa foi surpreendido, em 1662, pelas forças espanholas sob o comando de D. João de Áustria. Praticamente desguarnecido, caiu, e foi destruído, transformando-se em ruínas. Da primitiva estrutura só resta um portal no estilo gótico, partes de muralha em ruínas e a porta da Capela de São Bento no interior. Estes vestígios foram classificados como Imóvel de Interesse Público por Decreto publicado em 29 de Setembro de 1977.