F
oi erguido em data não determinada, possivelmente sob o reinado deManuel I de Portugal ou no de seu sucessor, João III de Portugal, mas anterior a 1587, uma vez que se encontra desenhado no mapa desta região algarvia quando do ataque do corsário inglês Francis Drake, que o destruiu. Tinha como função controlar aquele ancoradouro e proteger ospescadores que ali mantinham uma armação de pesca de atum.
A fortificação atual remonta a uma reconstrução por determinação de Filipe III de Portugal (1621-1640), tendo sido reinaugurado em 1632 conforme inscrição epigráfica sobre o portão de armas.
O terramoto de 1755 causou-lhe grandes danos, tendo sido progressivamente abandonada.
Foi recuperada ao final da década de 1950 pela então Direcção Geral dos Edifícios e Monumentos Nacionais, no contexto dos trabalhos realizados no cabo de São Vicente e em Sagres, tendo em vista as comemorações do V Centenário da Morte do Infante D. Henrique (1960). Na ocasião, sobre os alicerces dos antigos quartéis foi erguida uma casa de chá.
Encontra-se classificado como Imóvel de Interesse Público.
Encerrado desde a década de 1990 pela ameaça de desmoronamento da encosta sobre a qual se ergue, em 2013 a Câmara Municipal de Vila do Bispo planeia a sua recuperação e reabertura.
Nela se destacam os panos de muralha remanescentes, baterias e casamatas, bem como a Capela de Santa Catarina, cujas origens remontam a uma doação do Infante D. Henrique (1394-1460) pouco antes de sua morte, e cujo retábulo, emestilo barroco, foi trasladado em 1997 para a Igreja de Nossa Senhora da Graça, na vizinha Fortaleza de Sagres.