Cansado dos inconvenientes do castelo do tempo do Rei D. Dinis, o quarto Duque de Bragança, D. Jaime I, empreendeu em 1501, a construção deste palácio, constituído por duas alas perpendiculares; a principal, feita de mármore branco, mede nada menos do que 110 m. Os salões e apartamentos do Rei D. Carlos I (1863-1908), um talentoso pintor e desenhador, e da rainha D. Amélia, totalmente mobilados e decorados com obras de arte, foram transformados num museu. A 300 m de distância, um grande parque foi outrora um terreno de caça.