Neste pequeno porto pesqueiro registou-se, em 1623, uma incursão de piratas da Barbária. O episódio encontra-se referido em uma anotação de João Teixeira Soares de Sousa, acredita-se que a partir de um extrato das "Crónicas da Província de S. João Evangelista das Ilhas dos Açores" (c. 1695), de Frei Agostinho de Monte Alverne:

"Sendo o capitão maior d'esta villa de Santa Cruz, Manoel de Quadros Machado, e capitão maior da villa da Praia,Gaspar Velho d'Azevedo, em 19 de maio de 1623, chegaram a esta ilha, oito fragatas d'Argel, e ancoraram onde chamam Affonso do Porto, e está uma Ermida de Nossa Senhora da Victoria, donde comettendo duas com Barcas e um Patacho para botarem gente em um caes feito pela natureza, os moradores da ilha com tanto valor lhe resistiram que não poderam entrar, sem morrer pessoa, nem ainda ficar ferida. Vinha n'estes navios um capitão, natural d'esta mesma ilha, o qual sendo resgatado em Argel pela Redempção geral, veio para Lisboa onde com as esmollas que tirou, mandou fazer uma imagem de Nossa Senhora da Victoria que hoje está na Ermida que fez o povo, nella viveu hermitão, e morreo como hermitão."

De acordo com a tradição, os moradores conseguiram matar o líder do assalto, que terá ficado sepultado em local próximo à atual ermida. O capitão escravizado referido era Pedro Cunha Ávila.

Datará desse período também, a fortificação do local. No contexto da Guerra da Sucessão Espanhola (1702-1714) encontra-se referido como "O Forte de Affonso do Porto." na relação "Fortificações nos Açores existentes em 1710".

Encontra-se citado como desaparecido no "Catálogo provisório" em 1884.

A estrutura não chegou até aos nossos dias.