Le petit palais a été construit en 1317. Il est situé dans la partie nord de la place, en face de la résidence Papale, et c'est ainsi nommé à cause de ses dimensions modestes et de la valeur, en comparaison avec le palais des papes.

L'histoire de son apparition vague: selon une version, il a été construit pour le neveu du pape Jean XXII, Arnaud de Via, de l'autre côté, il a été construit par le cardinal Беренжером F. Aînés. Après sa mort, le palais et ses jardins ont été rachetées par le cardinal Arnaud de Via. En 1335 De Via est décédé et le palais de la personne n'était pas jusqu'à la paroisse du pape Benoît XII, qui l'a racheté et transformé en résidence officielle de l'archevêque d'avignon.

Le bâtiment a été fortement endommagée entre 1396 de 1411, car on croyait fortifiée de la citadelle de frênes des papes. Après la fin des hostilités, le palais progressivement tombé en désuétude. Dans la seconde moitié du XVE siècle, l'évêque alain de Котиви et son disciple Giuliano della Rovere (qui deviendra par la suite par le Pape Jules II) a décidé de restaurer le bâtiment et à 1503 lui donna presque l'aspect d'origine. Della Rovere est arrivé à Avignon, en 1474, car il a été nommé à son oncle, le Pape sixte-quint IV, évêque de авиньонским. Il a achevé le sud et l'ouest, les façades dans le style de la renaissance italienne et en 1487, il leva la tour (plus tard, en 1767, elle a été détruite).

Pendant la révolution française, le palais est devenu la propriété de l'état, au XIXE siècle, c'était l'école catholique, et, plus tard, l'école professionnelle. Seulement à la fin du XXE siècle sur le territoire du palais a été ouvert le musée.

À partir de 1958, ici se trouve le Musée du moyen-âge. En 1976, y a été ouvert une galerie d'art œuvres de maîtres de la Renaissance. Dans 19 salles du musée sont exposées, en particulier, les travaux de Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, y compris ici se trouve la célèbre vierge de Botticelli.