Trata-se de um sóbrio mas aristocrático edifício dos séculos XVII e XVIII que substituiu outro de bem maior antiguidade do século XV. Eram estas as moradas ancestrais da poderosa família dos Coutinhos, condes de Marialva, gente ilustre entre a mais ilustre de Portugal.
O imóvel desenvolve-se em função de um espaço central quadrangular, do qual ascende ao andar nobre uma escadaria de pedra com o corrimão de volutas. No andar da fachada principal, voltada sensivelmente ao norte, contam-se sete amplas janelas de verga saliente e varandas de ferro. Numa época mais tardia do século XVIII, todas foram providas de anteparos pétreos, de perfil ligeiramente curvo.
Ao lado da fachada encosta-se a capela senhorial da invocação de S. João Baptista (profanada há muito) e onde hoje se situa o Centro de Interpretação de Penedono. 
Recentemente, após obras de restauro, o Solar dos Freixos acolhe condignamente os Paços do Concelho e outros serviços públicos.