No contexto da Reconquista cristã da Península Ibérica, o rei D. Sancho II (1223-48) conquistou esta povoação aos mouros. A primitiva edificação do castelo remonta ao reinado de D. Afonso III (1248-79). Posteriormente, D. Manuel (1495-1521) elevou a povoação a Concelho, fazendo reconstruir o seu castelo. No contexto da Guerra da Restauração da independência portuguesa, as suas defesas foram modernizadas, introduzindo-se-lhe linhas abaluartadas. À época, resistiu às investidas das tropas da Espanha. Embora restem atualmente poucos vestígios de seu primitivo traçado medieval, os remanescentes da fortificação foram classificados como Imóvel de Interesse Público por Decreto publicado em 24 de Janeiro de 1967. De acordo com a imprensa portuguesa, o fadista Mico da Câmara Pereira adquiriu, em Setembro de 2005, as ruínas do castelo a José Luís Sommer de Andrade, antigo cavaleiro tauromáquico, pelo montante de 225 mil euros. As negociações para a aquisição demoraram cerca de um ano e meio, período em que nem o Instituto Português do Património Arquitectónico (IPPAR) e nem a Câmara Municipal de Elvas optaram por exercer o seu direito de preferência ao imóvel. O fadista declarou tencionar requalificar o imóvel como um espaço de lazer para a promoção de espetáculos e eventos, como casamentos e festas temáticas, com recursos a serem obtidos da mesma forma (Jornal de Notícias, 11 de Setembro de 2005). Em 2012 e com muitas dívidas, o fadista considerou que a compra do castelo foi um erro. Em 2015 o castelo está à venda com o valor base de 129 mil euros.