A tradição local afirma que se oculta, nas caves do castelo, o tesouro de D. Sebastião (1557-1578), afirmando-se ainda que a última proprietária do imóvel mudou-se por não suportar mais ser incomodada, durante a noite, por curiosos em busca dessa riqueza. António Godinho, um historiador local, afirma que pode haver um fundo de verdade na lenda, uma vez que um dos antigos proprietários do castelo acompanhou aquele soberano na fatídica batalha de Alcácer Quibir.