Fundado em 1571 pelos Frades Capuchos de São Francisco, a rogo dos “principais” da vila de Penamacor, oficiais da Câmara e do próprio Bispo da Diocese da Guarda junto do Ministro Provincial da Ordem, o Convento de Santo António foi construído com a ajuda das rendas do concelho, doações de fidalgos, abastados da terra  e com a mão-de-obra voluntariosa de toda a população.  A partir de 1834, com a extinção das Ordens Religiosas e nacionalização dos seus bens, o edifício conhece vários usos. Entre períodos de abandono e degradação é sucessivamente Hospital (1867–1905), Centro de Saúde (1975-1990) e Centro de Dia assistencial para idosos. Em 1946, o Ministério de Assuntos Sociais entrega à Misericórdia o hospital e todos os seus bens, incluindo o Convento. A estrutura arquitectónica do conjunto prima pela sobriedade, destacando-se a fachada da igreja, onde se evidenciam elementos clássicos, e o claustro, de dois andares, de proporções igualmente clássicas. O interior da igreja  surpreende pelo brilho da talha que reveste o altar-mor e o púlpito, de cunho barroco, os dois altares laterais, ambos de feição clássica, e o tecto de caixotões decorados com motivos picturais tipicamente barrocos.  Curiosas pinturas orientalistas podem ser ainda vislumbradas no cadeiral do coro, talvez relacionadas com o papel evangelizador dos franciscanos no Extremo Oriente. Na sacristia sobressaem os quadros de episódios da vida do grande taumaturgo e patrono do Convento, Santo António. Da imagística de outrora restam as figuras dos patronos São Francisco e Santo António e uma da Nossa Senhora da Conceição.