Ocupa o antigo Palácio dos Três Escalões, construído no séc. XVI e remodelado no séc. XVIII. O piso térreo está dedicado à escultura dos sécs. XIII ao XVIII. No primeiro piso expõem-se pinturas portuguesas do séc. XIX e princípios do séc. XX e no segundo piso, dedicado aos mestres antigos da Escola de Viseu, pode admirar quadros de Columbano (1857-1929).