À época da Invasão romana da Península Ibérica, a povoação, então denominada de "Cale", já contava com edificações de porte e controlava um importante eixo viário entre "Olissipo" (atual Lisboa) e "Bracara Augusta" (atual Braga). O mais importante núcleo foi identificado pela pesquisa arqueológica na década de 1940 no alto da Pena Ventosa (morro da Sé), quando foram trazidas à luz uma ara votiva, uma moeda do imperador Constantino e duas colunas de mármore. Datará desta época a primitiva cintura de muralhas da povoação.

Com as Invasões bárbaras da Península Ibérica, os Suevos adquiriram o controle sobre todo o Noroeste peninsular. A povoação, então denominada como "Portucale", neste período foi elevada a sede de bispado, vindo a sofrer expressivo retrocesso após as Invasão muçulmana da Península Ibérica, no século VII.