O que nos resta do castelo e das suas muralhas atesta a importância que teve no contexto islâmico, quer pelas dimensões da cerca muralhada, quer pela relevância artística e arqueológica dos materiais identificados.
O castelo ergue-se num dos vértices da cerca medieval da cidade. Esta cerca definia um perímetro com uma área de, aproximadamente, cinco hectares, considerada extensa para a época, e que podemos dividir em dois núcleos principais:
- a Alcáçova, espaço eminentemente militar; e
- a Medina, essencialmente civil e administrativo.
Os remanescentes desse conjunto consistem em três torres, uma das quais albarrã, definindo um dos troços da muralha a Nordeste, que funcionaria como limite da alcáçova. Em plano inferior, a chamada Rua da Barbacã sugere que aqui teria se erguido este tipo de estrutura, paralela às muralhas, talvez desaparecida para a abertura do arruamento.
Da primitiva Medina restou uma torre de planta quadrangular, originalmente o minarete da mesquita muçulmana, adaptada, após a cristianização, como torre sineirada Igreja de São Clemente.
A primitiva ocupação humana do sítio de Loulé remonta à pré-história, conforme os testemunhos arqueológicos.
Durante a antiguidade, intensificaram-se os contatos dos povos da região com navegadores Fenícios e Cartagineses, que fundaram as primeiras feitorias na orla marítima do Concelho (Carteia), incrementando a atividade piscatória e comercial, além da prospecção de metais. Do período da Invasão romana da Península Ibérica chegou-nos o testemunho de uma ara votiva reutilizada na torre da igreja matriz.
A partir do século VIII, com a Invasão muçulmana da Península Ibérica, forma-se Al’-Ulyã, referida, às vésperas da Reconquista cristã, nas crônicas de Ibne Saíde e Abd Aluhaid, como uma pequena almedina fortificada e próspera, pertencendo ao Reino de Niebla, sob o comando do Taifa Ibne Mafom. Dessa estrutura almóadaresta-nos a torre albarrã, em taipa (Torre da Vela).
Em 1249, no dia de São Clemente, as forças de D. Afonso III (1248-1279) conquistaram a povoação com o auxílio dos cavaleiros da Ordem de Santiago, sob o comando do Mestre D. Paio Peres Correia. Elevada a sede de Concelho pelo foral de 1266, D. Dinis doou a povoação e seus domínios à Ordem de Santiago (1280), dotando-a posteriormente de uma grande feira, com duração de quinze dias, no mês de Setembro (1291).
No contexto da crise de 1383-1385, a vila também enfrentava dificuldades, conforme o testemunho do Camareiro-mor João Afonso, segundo o qual Loulé estava bastante despovoada, o seu castelo estava ermo de muralhas e no seu interior existiam bastantes pardieiros (Actas de Vereação, 1385). Reporta ainda que corria no Concelho a notícia de que as forças de Castela se preparavam para entrar em Portugal. Diante da gravidade da informação e para precaver um eventual ataque, a Vereação decidiu reparar a torre que encimava a Porta de Faro e levantar as muralhas e ameias do flanco sul da cerca da vila. Sensível a este estado de coisas, D. João I (1385-1433) concedeu privilégios especiais à população do termo da Vila para habitar o interior da Cerca e doou o pardieiro em frente à Igreja de São Clemente, para construção de um adro.
Com o ciclo dos Descobrimentos portugueses, a região do Algarve, vivenciou um novo surto de crescimento econômico, do qual também Loulé se beneficiou, exportando vinho, azeite, frutas e peixes secos e sal. Graças a esses recursos, a partir de 1422, as muralhas do castelo foram reedificadas por D. Henrique de Meneses, 1º conde de Loulé.
Durante a Dinastia Filipina, no levantamento das defesas algarvias efetuado entre os anos de 1617-1618 pelo engenheiro-militar e arquitecto napolitano Alexandre Massai, o Castelo de Loulé consta como apresentando a maior parte dos muros em taipa danificados e ruídos (Descripção do Reino do Algarve..., 1621).
Após a Restauração da independência, diante da evolução da artilharia, o Castelo perdeu o seu valor defensivo. Desse modo, o crescimento urbano gradativamente foi absorvendo os antigos muros, processo que se acelerou a partir dos danos impostos pelo terramoto de 1755, que destruiu a maior parte da vila. As torres do castelo desabaram, assim como grandes troços da muralha. A reconstrução da malha urbana privilegiou os setores residenciais, onde solares e palacetes passaram a se destacar.
No século XIX, foram loteadas e ocupadas para fins residenciais e comerciais as áreas adossadas às muralhas do Castelo, das quais foram demolidos alguns troços.
Os remanescentes do castelo encontram-se classificados como Monumento Nacional por Decreto publicado em 28 de Junho de 1924.
Após os trabalhos de conservação e restauração desenvolvidos no século XX, o conjunto no interior do castelo é utilizado como museu arqueológico e como biblioteca municipal
