Implantado no topo do Cerro do Jarmelo, que se destaca e se eleva sobre a relativa planura das terras envolventes, do Castro do Jarmelo avista-se um vasto território que vai desde a Serra da Marofa ao Cabeço das Fráguas, e desde as vertentes orientais da Serra da Estrela até aos territórios fronteiriços espanhóis.

O valor estratégico da sua localização terá sido um dos fatores mais relevantes no assentamento de comunidades humanas neste sítio. A sua primitiva ocupação remonta possivelmente à Idade do Ferro. Todavia, é durante a Idade Média que o sítio ganha notoriedade, pois se torna a sede do famoso concelho do Jarmelo, que seria extinto apenas em 1855, no âmbito do processo de “arredondamento dos concelhos” que então se concluía com a extinção de cerca de 300 velhos concelhos de origem medieval.

O elemento de maior destaque do Castro do Jarmelo é a linha de muralhas que o circunscreve e que ainda hoje rodeia o topo da elevação. Erguida em alvenaria, apresenta uma planta ovalada, na qual foram rasgadas três portas, a Leste, a Sul e a nascente. Como por toda a parte, esta linha de muralhas tinha uma função eminentemente defensiva, protegendo e abrigando durante séculos no seu perímetro quer os residentes, quer os moradores das quintas e aldeias mais próximas. Com efeito, nos amplos terreiros exteriores às portas orientadas para Sul e Oeste desenvolver-se-iam importantes arrabaldes, onde ainda sobrevivem as duas igrejas paroquiais, a de S. Pedro com o seu campanário isolado e a de S. Miguel, bem como a antiga, rara e bem conservada casa da câmara do Concelho.

Como nas demais cidades e vilas das Beiras, a perda do valor estratégico e militar da Vila do Jarmelo iniciou-se com os alvores da Época Moderna. É então que, perdida a sua função defensiva, se inicia o abandono da cerca muralhada, deslocando-se a população para as zonas planas e férteis dos territórios circundantes.