O padre António Cordeiro, no início do século XVIII, remonta a fortificação de Lajes das Flores ao período da Dinastia Filipina, após o saque de corsários ingleses em 1587, no contexto da Guerra Anglo-Espanhola (1585-1604):

"Daqui para o Norte, está a nobre, & fecunda Villa das Lajes, & já em nada sujeita à Villa de Santa Cruz: consta de muito mais de trezentos fogos, & de duas grandes Companhias, & dous Capitães de ordenança, & hum Capitão mor da Villa, & seu termo; e consta de hua grande rua, & muytas travessas; & tem diante de si para o mar alguns bayxos perigosos aos que quiseram acometer a Villa, & fica já mais de duas legoas do sobredito lugar de São Pedro. A Matriz desta Villa he da invocação de Nossa Senhora do Rosário, com Vigario, & algumas familias nobres, como em seu lugar diremos. (…) Já houve comtudo ocasição (em 25 de julho de 1587, há quasi cento & trinta annos) que cinco navios Inglezes enganadamente entrarão na Villa das Lajes, & a saquearão, fugindo os moradores para os matos; mas atèagora lhes não succedeo outra, pela vigia que sempre ao diante tiverão: & nem se sabe de fogo, terramoto, peste ou guerra que houvesse nesta Ilha atègora."

Uma nova tentativa de assalto, por duas embarcações de corsários ingleses da América do Norte, registou-se no ano de1770.

O padre José António Camões, na primeira década do século XIX, também referiu as defesas de Lajes das Flores:

"(…) tem aquella Villa o porto a susueste; tem para fora uma baia com ancoradouro de areia. (…) Seo Orago é Nossa Senhora do Rozario, (…) Tem 2 companhias de ordenança. A 1ª formada na Villa, Monte e Morros, com 1 capitão, 1 alferes, 2 tenentes, que foram de fortes, dois sargentos e 170 soldados, a 2ª formada na Fazenda, Lajedo e Mosteiro, com 1 capitão, 1 alferes, 1 tenente, 3 sargentos e 147 soldados, a saber, 77 na Fazenda, 36 no Lajedo e Costa, e 34 no Mosteiro e Caldeira. Tem um castello no porto da Villa com casa e guarda e 9 peças, e mais 2 fortes, um delles em um cerrado sobre uma rocha, sem casa, e 1 peça.".

A "Relação" do marechal de campo Barão de Bastos em 1862 refere-o como "Forte das Pouças" (Forte [do Porto ou do Cais] das Poças) e informa: "Tem uma caza arruinada", complementando: "Só existem os parapeitos d'uma bateria"). A estrutura não chegou até aos nossos dias.