Esta residência de 15 000 m2 é composta pelo Palácio Antigo e pelo Palácio Novo. O primeiro, uma fortaleza de arquitetura austera, foi encomendado por Bento XII em 1334. Clemente VI, grande Príncipe da Igreja, artista e pródigo, o considerou muito severo e pediu, em 1342, a Jean de Louvres, que construisse o Palácio Novo. A Torre do Guarda Roupa e dois novos grupos de construções criaram o pátio interno , até então uma praça pública. Se o aspecto externo não mudou muito, o seu interior foi suntuosamente decorado por uma equipe de artistas dirigidos por Simone Martini e, posteriormente, por Matteo Giovannetti.