Il museo ha preso il nome dal palazzo che lo ospita. Originariamente era una fortezza, costruita alla fine del XII secolo durante il regno del re capetingio Filippo II, nei rifacimenti successivi fu sede reale e governativa.

La conformazione attuale del palazzo origina dai lavori ordinati da Carlo V nella seconda metà del XIV secolo. Fu la sede effettiva della monarchia francese fino al 1682, quando Luigi XIV si trasferì nella Reggia di Versailles, e rimase comunque la sua sede formale fino al termine dell’Ancien Régime nel 1789. Fu il governo rivoluzionario a dare piena attuazione a progetti già avviati di trasformazione in museo, inaugurandolo come tale nel 1793, anche se il palazzo continuò ad ospitare enti governativi fino agli anni novanta.