Quando da eclosão da crise de 1383-1385, a povoação e seu castelo tomaram o partido de D. Beatriz de Portugal. Após a aclamação de João I de Portugal (1385-1433) pelas Cortes de Coimbra, o Condestável D. Nuno Álvares Pereira dirigiu-se à cidade do Porto em busca de reforços navais para a defesa de Lisboa, ameaçada por uma armada do reino de Castela. Encaminhado esse assunto, o condestável decidiu ir em romaria a Santiago de Compostela, na Galiza, aproveitando o roteiro para assenhorear-se das terras onde ainda não havia sido reconhecida a autoridade do novo soberano. Ao passar por Neiva, rezam as crónicas que, num dia ao pôr-do-sol, imediatamente se travou rijo combate por ser o castelo "mui forte e bem defendente" (Fernão Lopes. Crónica de D. João I). Embora sendo de se esperar um longo assédio, quis a fortuna que uma seta ferisse mortalmente no rosto o alcaide do castelo, o que conduziu à rendição da praça.

Com a reorganização administrativa do reino em finais do século XIV, a posição deste castelo litorâneo perdeu importância, entrando o mesmo em declínio até à sua desativação no início do século XV.

Desde então, as suas pedras foram reaproveitadas pelas populações vizinhas, nada restando de sua estrutura a não ser os vestígios dos alicerces da sua torre de menagem e alguns pedaços do muro da cerca.