Em posição dominante sobre a baía das Velas, constituiu-se em uma fortificação destinada à defesa deste ancoradouro contra os ataques de piratas e corsários, outrora frequentes nesta região do oceano Atlântico. Cruzava fogos com a bateria oeste do Forte de Nossa Senhora da Conceição.
No contexto da Guerra da Sucessão Espanhola (1701-1714) após o saque das Velas pela esquadra do corsário francêsRené Duguay-Trouin (20 a 25 de setembro de 1708), este forte foi erguido em 1709 pelo Sargento-mor Amaro Soares de Sousa, e encontra-se referido como "O Forte de Nossa Senhora do Pillar e Sam Joseph." na relação "Fortificações nos Açores existentes em 1710".
SOUSA (1995), em 1822, ao descrever o porto de Velas refere: "(...) o [castelo] das Eiras de 8 [peças], fazem a sua defesa marírima; guarnecidos por um destacamento do Batalhão da capital do Departamento, e pelo Regimento de Milícia Nacional, que toma o nome da ilha.".
De acordo com o Tombo de 1883 encontrava-se em ruínas.
No contexto da Segunda Guerra Mundial foi entregue em 1941 ao Ministério das Finanças.
Atualmente encontra-se em ruínas, descaracterizado.
--//--
Fonte: Wikipedia