A capital de distrito possui restos de um castelo mandado construir por D. Sancho I. Grande parte destas construções foi destruída para que a cidade pudesse crescer, restando apenas alguns troços das mesmas. A Torre de Menagem continua imponente, melhorada com algumas intervenções nos últimos tempos.

Na segunda metade do século XIII construiu-se a atual Torre de Menagem, implantada a 1056m de altitude. Esta torre encontrava-se integrada numa estrutura militar e residencial denominada Alcáçova, que no fundo constituía um paço fortificado onde residia o alcaide-mor e sua família e que ao mesmo tempo servia de aquartelamento para a respetiva guarnição militar, maior ou menos, consoante as circunstâncias político-militares, as épocas e os recursos disponíveis.

Do topo da torre de menagem da alcáçova da Guarda avistam-se outras fortificações, como as de Trancoso e de Pinhel; avista-se a Vila do Jarmelo e a vista alonga-se até às terras fronteiriças, muito para lá do Côa.

De planta pentagonal irregular, em estilo gótico, ergue-se no topo de uma colina, alicerçada em solo granítico.

É o símbolo máximo de toda a estrutura defensiva, sendo um sinal da altivez das suas gentes que ao longo dos séculos defenderam a fronteira.

Este importante monumento reflete a importância que a Guarda teve na consolidação das fronteiras do atual território português.

A Torre de Menagem da cidade mais alta guardou e defendeu as suas gentes. Imponente e forte, é testemunho de batalhas e de histórias de outros tempos. Esconde segredos e lendas, numa envolvente que hoje atrai residentes e visitantes pela sua mística e beleza.