A muralha medieval em redor da vila, de planta aproximadamente oval, era reforçada por dez cubelos. Nela se rasgavam três portas, cada uma defendida por uma torre que se lhes sobrepunha:
- a Leste, a chamada Porta do Sol, comunicava com a zona ribeirinha e os estaleiros;
- a Oeste, a chamada Porta do Mar, comunicava-se com o cais do porto;
- a Sul, a chamada Porta de Viana, por onde se ia a Viana do Castelo, e que constituía o principal acesso da vila.
A torre que defendia esta última era mais robusta do conjunto, apresentando planta no formato quadrado, e que, na origem, se constituía na torre de menagem. Nela se inscrevia a pedra de armas (símbolo da autoridade régia) e se abrigava uma imagem sacra (símbolo da devoção popular). A partir do século XVII recebeu o relógiopúblico da vila, passando a se denominar Torre do Relógio. O sino deste relógio foi fundido em 1610 e abriga-se na pirâmide que então passou encimar a torre. Com a Restauração, D. João IV fez colocar nesta porta uma imagem de pedra de Nossa Senhora da Conceição.
