Os vestígios mais remotos da ocupação do Castelo de Penamacor, classificado como Monumento Nacional, apontam para horizontes pré-históricos (Neolítico). O espólio arqueológico resultante das campanhas de escavação aqui realizadas entre 2002 e 2009 e coordenadas por Silvina Silvério, dão conta de uma ocupação humana continuada do cabeço granítico, o que o torna testemunha do passado do território.
Ainda assim, realça André Oliveirinha, arqueólogo do Município de Penamacor, “é no século XIII que toda a vida se começa a desenrolar”, uma vez que “com a definição da fronteira do Reino de Portugal, há a necessidade de ocupar estes territórios e dá-se a construção da primeira muralha de linha defensiva do Castelo de Penamacor”.
“Quando é dado foral de D. Sancho I começa todo o desenvolvimento da Praça Forte de Armas de Penamacor, constituem-se duas paróquias distintas – Santa Maria do Castelo e São Pedro – e desenrola-se a ocupação do Castelo”, acrescenta, destacando que “a muralha medieval da vila é dotada de baluartes, que lhe permite a proteção aos novos avanços na balística”.
Penamacor recebe, no século XVI, novo foral, renovado por D. Manuel, e constrói-se a segunda linha de defesa, já com a Guerra da Restauração, que viria a perder importância e a sofrer quedas a partir do séc. XIX, “devido à perda de importância da fronteira”.
Entre os vestígios que ainda é possível encontrar estão a Torre de Menagem, que terá sido construída no séc. XVI, alguns panos de muralhas e a fachada principal junto à Igreja da Misericórdia (antiga Casa da Câmara), a Porta da Vila, sem esquecer ainda o emblemático Pelourinho.