Phillips-samlingen ble grunnlagt i kunstkritikeren Duncan Phillips' visjon. I 1921 forvandlet han familiehuset sitt til et museum. I utgangspunktet viste han kun ut 600 private samlinger, men åpnet snart for publikum og ble dermed en pioner innen samling av moderne kunst i USA. Selve museumsbygningen er en kunsthistorie: hoveddelen er et herskapshus i rød murstein bygget i 1897, som senere ble utvidet til tre grener, som ikke bare beholder den historiske sjarmen, men også innlemmer moderne design.

Museets samling er sentrert rundt europeisk impresjonisme og amerikansk moderne kunst fra det 20. århundre, og dekker mesterverk av mestere som Van Gogh, Cézanne, Renoir, Degas, Picasso og Matisse. Som oljemaler har Marjorie Acker, kona til Duncan Phillips, hatt en betydelig innflytelse på retningen til museets samling, som gradvis har utvidet seg fra impresjonisme til feltet moderne kunst. I 2006 etablerte museet Senter for samtidskunstforskning for å fremme dialogen mellom kunst og tiden ytterligere.

