Muito preocupado com a defesa do país, o rei lavrador construiu por todo o reino numerosas fortalezas, e reforçou ou reedificou muitas das já anteriormente existentes, compreendendo-se assim que transformasse em Castelo o quartel ou posto militar que era aquele mosteiro dos Templários.

Num códice quinhentista existente na Torre do Tombo, o Livro das Fortalezas que são situadas no extremo de portugal e Castela, trabalho de Duarte d´Armas, feito por ordem de D. Manuel I, encontra-se a planta e dois desenhos à pena com as prespectivas do castelo de Alpalhão, tirada uma na banda do sudoeste e a outra de noroeste.

Dessa planta, (...), de tais desenhos se vê que no tempo do rei venturoso, a fortaleza de Alplhão se encontrava em bom estado de conservação. isto mesmo é confirmado pelo que se lê no Cadastro da população do reino, (actas das comarcas de entre Tejo e Odiana e da Beira), mandado organizar por D. João III em 1527 e publicado em 1931 por Magalhães Colaço, - no qual se diz, com referência a Alpalhão, que "tem um bom castelo e dentro bom aposentamento".

A fortaleza era de forma rectangular, quási quadrada, tendo no ângulo de sudoeste a torre de menagem, também rectangular, com doze varas de altura e três andares ou pavimentos.
Em cada um dos três restantes ângulos tinha um cubelo, de forma circular, abobadado, com a altura de oito varas.
A espessura dos muros laterais era de uma vara e um pé, sendo a sua altura de cinco varas.
A torre de menagem comunicava com os aposentos sobradados destinados à residência do alcaide.
Nessa torre, nos cubelos e em volta nos muros havia um grande número de troneiras ou bombardeiros, que eram aberturas por onde, nas horas de luta, se disparavam os tiros de artelharia.

Em volta da fortaleza acumulava-se, pelo nascente, sul e poente, o casario da povoação, e ao norte erguia-se a igreja de estilo românico que já nesse tempo se encontrava onde está a actual matriz.

D. João IV mandou guarnecer a vila de muralhas que ficaram concluídas em 1660 (data indicada por pinho Leal) e, portanto, já no reinado de D. Afonso VI, visto aquele ter falecido em 1656.tanto as muralhas como o castelo foram destruídos, existindo hoje ainda algumas ruínas.
Tal destruição, senão total, pelo menos na sua maior parte, deve ter ocorrido em Junho de 1704, quando da Guerra da Sucessão, o exército franco-espanhol, comandado pelo Duque de BerwicK, e acompanhado pelo próprio Filipe V de Espanha, saindo de Castelo Branco em direcção a Portalegre, pessou por Alpalhão, procedendo o exército invasor em relação a esta vila da mesma forma que procedeu para com a vila de Nisa onde destruíu, segundo refere o Dr. Mota Moura, na sua Memória Histórica, algumas torres do castelo e parte das muralhas, queimando ainda quase totalmente o cartório da Câmara, - tanto mais que Alpalhão não podia deixar de ser ocupada militarmente (tal como sucedeu a Nisa, onde parte das tropas se demorou uns quinze dias), já porque era também vila fortificada, já porque ficava a quatro léguas de Portalegre que capitulou a 9 de Junho, e a três de Castelo de Vide que se rendeu a 25 do mesmo mês, e onde as tropas inimigas, com o próprio Filipe V, permanrceram dezoito dias, como refere César Videira na Mémória Histórica desta Vila. (1)(1)
in "Joaquim Dias Loução, A Vila de Alpalhão - sua história e sua importância".
publicado por DELFOS às 13:55