Remonta a um fortim, sob a invocação do mesmo orago, erguido no século XVI junto ao porto, sobre as ruínas da primitiva Ermida do Espírito Santo. De acordo com frei Diogo das Chagas, essa ermida erguia-se "ao sahir do Porto, que he hua calheta em que abiquão barcos" e fora "antigamente parochia da Villa que ahi estaua, que depois de queimada se mudou pera cima, aonde hoje está, e na mesma Igreja se fez esta hermida do mesmo orago, que antes tinha".

O padre António Cordeiro, no início do século XVIII, remonta a fortificação de Lajes das Flores ao período da Dinastia Filipina, após o saque de corsários ingleses em 1587, no contexto da Guerra Anglo-Espanhola (1585-1604), ocasião em que a ermida foi incendiada:

"Daqui para o Norte, está a nobre, & fecunda Villa das Lajes, & já em nada sujeita à Villa de Santa Cruz: consta de muito mais de trezentos fogos, & de duas grandes Companhias, & dous Capitães de ordenança, & hum Capitão mor da Villa, & seu termo; e consta de hua grande rua, & muytas travessas; & tem diante de si para o mar alguns bayxos perigosos aos que quiseram acometer a Villa, & fica já mais de duas legoas do sobredito lugar de São Pedro. A Matriz desta Villa he da invocação de Nossa Senhora do Rosário, com Vigario, & algumas familias nobres, como em seu lugar diremos. (…) Já houve comtudo ocasição (em 25 de julho de 1587, há quasi cento & trinta annos) que cinco navios Inglezes enganadamente entrarão na Villa das Lajes, & a saquearão, fugindo os moradores para os matos; mas atèagora lhes não succedeo outra, pela vigia que sempre ao diante tiverão: & nem se sabe de fogo, terramoto, peste ou guerra que houvesse nesta Ilha atègora."

No contexto da Guerra da Sucessão Espanhola (1702-1714) encontra-se referido como "O Forte do Espirito Santo." na relação "Fortificações nos Açores existentes em 1710".

Uma nova tentativa de assalto, por duas embarcações de corsários ingleses da América do Norte, registou-se no ano de1770.

O padre José António Camões, na primeira década do século XIX, também referiu as defesas de Lajes das Flores:

"(...) tem aquella Villa o porto a susueste; tem para fora uma baia com ancoradouro de areia. (...) Seo Orago é Nossa Senhora do Rozario, (...) Tem 2 companhias de ordenança. A 1ª formada na Villa, Monte e Morros, com 1 capitão, 1 alferes, 2 tenentes, que foram de fortes, dois sargentos e 170 soldados, a 2ª formada na Fazenda, Lajedo e Mosteiro, com 1 capitão, 1 alferes, 1 tenente, 3 sargentos e 147 soldados, a saber, 77 na Fazenda, 36 no Lajedo e Costa, e 34 no Mosteiro e Caldeira. Tem um castello no porto da Villa com casa e guarda e 9 peças, e mais 2 fortes, um delles em um cerrado sobre uma rocha, sem casa, e 1 peça.".

A estrutura não chegou até aos nossos dias.