Образцами для создания музея нового типа стали музеи Германии, и прежде всего Дрездена (Albertinum), директор которого, Георг Трей, всемерно способствовал осуществлению замысла И.В. Цветаева. В качестве консультантов выступали В. Боде, В. Дерпфельд. К работе в Музее И.В. Цветаев в разные годы привлекал известных русских ученых: Н.П. Кондакова, В.К. Мальмберга, Б.А. Тураева, – и выдающихся художников: В.М. Васнецова, В.Д. Поленова, А.Я. Головина. Гипсовые слепки и гальванокопии заказывались в 1890–1911 годах в знаменитых европейских мастерских. При открытии музея его экспозиция занимала 22 зала и насчитывала более тысячи слепков, копий настенной живописи и мозаик.
Созданию коллекций слепков, представляющих «подборку всего самого выдающегося» (Г. Трей), в музейном мире XIX века сопутствовала идея экспонирования в одном музее и слепков, и оригиналов. Так было в Альбертинуме, не стал исключением и Московский музей. Помимо античной и нумизматической коллекции университетского Мюнцкабинета, в 1910 г. в музей поступили произведения итальянской живописи и декоративно-прикладного искусства XIII-XV веков из собрания М.С. Щекина (более 90 памятников). Украшением музея стала уникальная древнеегипетская коллекция (свыше 6000 памятников), собранная В.С. Голенищевым, приобретенная государством в 1909 и переданная музею в 1911 г.
Дальнейшая жизнь созданного И.В. Цветаевым музея и формирование его собрания были связаны с событиями в стране. Одним из важнейших этапов в развитии музея стало сложение картинной галереи.
В 1923 г., в соответствии с общей политикой национализации частных художественных собраний и перераспределения музейных ценностей и в связи с созданием общемосковской сети музеев, Наркомпрос принял решение об устройстве в Москве центрального Музея старой западной живописи. Он создавался на основе западноевропейского собрания Московского Публичного и Румянцевского музеев с размещением его в здании Музея изящных искусств. Таким образом, созданный И.В. Цветаевым музей был выведен из подчинения университету и приобрел статус уже не учебного, но самостоятельного художественного музея. В 1924 г. сюда поступили картины из национализированных частных собраний Г.А. Брокара, Д.И. Щукина, из Государственного музейного фонда. В 1920-е – 1930-е годы музей пополнился произведениями западноевропейской живописи из национализированных московских собраний и подмосковных усадеб, упраздненного Музея иконописи и живописи И.С. Остроухова, а также из Исторического музея, Музеев Кремля, Третьяковской галереи – за счет «непрофильных» для них произведений западноевропейского искусства. Несколько партий картин было получено из Эрмитажа, других ленинградских музеев, Ленинградского музейного фонда.
Таким образом сложилось ядро картинной галереи старых западных мастеров – нового музейного подразделения. Первую научную экспозицию картинной галереи создавал тогдашний директор музея, проф. Н.И. Романов. Залы галереи были открыты 10 ноября 1924 г.
В эти же годы расширилось и древневосточное собрание музея. Свыше 1000 клинописных табличек и около 3000 других памятников Древнего Востока было передано из бывшего Музея-института классического Востока.
Во время Великой отечественной войны в 1941-1944 гг. большая часть музейных фондов была эвакуирована в Новосибирск и Соликамск. С 1944 г. при деятельном участии директора музея, знаменитого скульптора С.Д. Меркурова, началось восстановление здания музея, пострадавшего во время войны от бомбардировок, и подготовка к развертыванию экспозиции под руководством зам. директора по научной работе – известного ученого Б.Р. Виппера и главного хранителя А.А. Губера (открыта 3 октября 1946 г.). Возобновлены популяризационная работа и комплектование, а также археологические экспедиции, проводившиеся музеем в Крыму и на Тамани с 1927 г.
В 1948 г. картинная галерея Музея пополнилась 286 произведениями, главным образом, французских художников конца XIX – начала XX веков из собрания бывшего Музея нового западного искусства в Москве (ГМНЗИ). Это произведения французских импрессионистов и постимпрессионистов, в свое время приобретенные выдающимися московскими коллекционерами И.А. Морозовым и С.И. Щукиным, графические собрания и архив. Новое пополнение расширило хронологические рамки коллекции, придав музею значение как места хранения и экспонирования всемирно известных произведений французских мастеров. Сформировалась и внушительная коллекция оригинальной западноевропейской скульптуры и прикладного искусства. Так определился современный состав картинной галереи.
В 1974 году экспозиция искусства XIX–XX веков открылась в залах второго этажа. В 2006 году она получила отдельное здание (Галерея). Был образован новый отдел.
В 2007 году в основном здании создана новая расширенная экспозиция картинной галереи старых мастеров. Одновременно развита и экспозиция античных древностей, также получившая дополнительные площади.
В 1985 г. по инициативе известного коллекционера, доктора искусствоведения И.С. Зильберштейна и директора музея И.А. Антоновой был создан новый научный отдел ГМИИ – Музей личных коллекций (МЛК, ныне – Отдел личных коллекций (ОЛК). С 1994 г. он размещался в отдельном, специально реконструированном здании, бывшем флигеле усадьбы кн. Голицыных. В 2005 г. отдел был переведен в комплекс новых зданий, отреставрированных и оборудованных на современном уровне.
Все произведения, составляющие собрание Отдела, были принесены в дар. Начало этому «музею в музее» положила известная коллекция И.С. Зильберштейна (более 2000 произведений русских и западноевропейских мастеров XVI – начала XX вв.). В дальнейшем в музей поступили русские иконы – из собраний М.И. Чуванова и Т.А. Мавриной, коллекция произведений из стекла от античности до конца XIX в. – от семьи Е.П. и Ф.В. Лемкулей, произведения русских художников XIX – XX в. из коллекций С.В. Соловьева, А.Н. Рамма, а также творческие наследия Л.О. Пастернака, А.М. Родченко и В.Ф. Степановой, А.Г. Тышлера, Д.П. Штеренберга, Г.С. и О.Г. Верейских, художников нон-конформистов – Д.М. Краснопевцева и В.Г. Вейсберга.
Зарубежные коллекционеры Н.Д. Лобанов-Ростовский, С.В. Папков так же подарили произведения русского искусства начала ХХ в. из своих собраний.
Произведения поступали в музей и в виде отдельных даров из собраний В.М. Исаевой, Ф.П. Зелинской-Кальканье, К.М. Муратовой, М.В. Кончаловского и др.
Собрание отдела продолжает активно пополняться и в настоящее время. За последние пять лет в музей поступили произведения декоративно-прикладного искусства XIX в. – от Е.М. Макасеевой и А.И. Старцева-Кунина, живописи и графики русского «серебряного века» – из коллекций Б.М. Михайловского и И.В. Корецкой, М.Н. Барышникова, советского андеграунда – от О.Я. Рабина и В.Я. Кропивницкой, Н.Ю. Биргер, художников «парижской школы» – от М.В. Салиной и С.А. Кривошеева, Б. Сапиро.
Создание Музея личных коллекций расширило диапазон собрания ГМИИ за счет значительного включения произведений русского искусства.
Музейное собрание оригиналов умножалось, но идеи И.В. Цветаева, его усилия по созданию «маленького Albertinum» сохранили свою актуальность. В 1996 г., снова при образовательном учреждении, был организован Учебный художественный музей имени И.В. Цветаева – новый отдел ГМИИ, размещенный в здании Российского государственного гуманитарного университета (РГГУ). Экспозиция его построена на гипсовых слепках, не вошедших в основную экспозицию ГМИИ, по тому же замыслу, что и экспозиция музея 1912 г. На площади около 2000 кв. м экспонируется и хранится более 1 000 слепков.