Desconhecendo-se ao certo da data da sua edificação, a Ermida de Nossa Senhora da Encarnação situa-se no interior de uma fortificação abaluartada de planta poligonal, cuja finalidade era proteger a povoação dos frequentes saques e assaltos de pirataria. Logo após o grande terramoto de 1755, a fortaleza onde se situa o templo sofreu grandes danos, acabando por ser desactivada em 1861, devido ao seu elevado estado de degradação.

Actualmente, da antiga fortaleza resta apenas o seu portal, encimado por uma lápide, onde se encontra inscrita a data da sua construção. Dela vislumbra-se a magnífica panorâmica para a praia deCarvoeiro. No seu interior, e debruçada para o oceano que parece vigiar, a Ermida revela-se um importante marco da devoção dos pescadores.

Este pequeno templo de fé tem sido alvo de inúmeras obras de restauro e remodelação. Dignas de serem mencionadas são duas imagens: a Padroeira, Nossa Senhora da Encarnação, datada do século XVII; e Jesus Crucificado, atribuída ao século XIX.