После смерти князя все его состояние перешло к племяннику М. А. Голицыну, любителю искусств, библиофилу и коллекционеру. Он, будучи много лет на различных дипломатических постах за границей, собрал большую коллекцию книг, картин и различных редкостей - фарфора, бронзы, ювелирных изделий. После кончины собирателя эти коллекции составили так называемый Голицынский музей, открытый в январе 1865 г. В нем экспонировались картины известных европейских художников итальянской, французской, голландской школ: Чимы да Конельяно, Караваджо, Веронезе, Тициана, Каналетто, Рубенса, Пуссена, и многих других. В собрании редкостей находились ценные предметы античной культуры - мраморные бюсты, вазы, бронзы, резные камни, фигурки животных, произведения ювелирного искусства, мебель, средневековая скульптура Европы и стран Востока. В библиотеке музея насчитывалось двенадцать тысяч томов, среди которых были инкунабулы и редкие образцы типографского искусства. Музей действовал около двадцати лет и был популярен в Москве. В 1869 г. в нем проводились заседания первого в России археологического съезда.
Однако со временем сын собирателя, князь С. М. Голицын, охладел к музею - он больше интересовался скачками. По воспоминаниям П. И. Щукина, хранитель коллекций музея К. М. Гюнцбург так отзывался о нем - "Unsere Furst ist keit Bucherfreund, sondern ein Pferderfreund" ("Наш князь друг лошадей, а не книг"). В 1886 г. музей был продан Эрмитажу и Публичной библиотеке за 800 тысяч рублей, а дом стал сдаваться различным учреждениям и жильцам. В 1888 - 1892 гг. помещалось частное училище И. М. Хайновского; в 1894 - 1898 гг. во время перестройки дома на Большой Никитской тут находились классы Московской консерватории. Известный композитор Р. М. Глиэр вспоминал: "Консерватория тогда временно помещалась в здании против Храма Спасителя, и мои первые воспоминания связаны с этим живописным местом, откуда виден был и Кремль, и Москва-река. Много маленьких переулочков было расположено вокруг тогдашней консерватории: и ученики ее селились поближе, чтобы не терять времени на ходьбу. Здесь, на Волхонке, я держал вступительный экзамен".
Вместе с консерваторией в голицынском особняке находилось и Русское хоровое общество, концерты которого проходили в зале главного дома.
В 1903 г. усадьба поменяла владельца - ее приобрело Московское художественное общество, при котором состояло и знаменитое училище живописи, ваяния и зодчества. Общество стало сдавать помещения здесь различным учреждениям - торговой школе, женской гимназии Л. Н. Громогласовой, университету имени Л. А. Шанявского (его физической лаборатории, а также лабораториям экспериментальной биологии и физической), Высшим женским сельскохозяйственным курсам и др.
В советское время дом занимали Голицынские сельскохозяйственные курсы, после них - Лесной институт и техникум, Институт мозга, редакции нескольких журналов, с 1925 г. - Коммунистическая академия. Именно для нее и надстроили в 1928 - 1929 гг. старинное здание, грубо исказив его пропорции. В 1936 г. Коммунистическая академия была упразднена, и в этом доме осталось несколько научных институтов, работавших в системе Академии наук - институты истории, славяноведения, истории материальной культуры, экономики, мирового хозяйства и мировой политики, истории искусств и др. На здании помещены мемориальные доски в честь историка Б. Д. Грекова и экономиста К. В. Островитянова. В правом флигеле усадьбы находилась редакция Большой Советской энциклопедии. Сейчас в этом здании институты философии, управления и человека. Восстановленный правый флигель усадьбы занимают отделы Музея изобразительных искусств.
В 1882 г. Б. И. Чичерин нанял на первом этаже голицынского дома восьмикомнатную квартиру и прожил там шесть зим (на лето он уезжал в свое тамбовское имение Караул). В 1881 г. Чичерин был избран московским городским головой, но через два года за весьма туманный намек на возможность конституционных свобод в царской России был уволен по распоряжению самого Александра III. В этом доме Чичерин работал над такими крупными сочинениями как "Собственность и государство" и "История политических учений".
Также на первом этаже в квартире, окна которой выходили на юго-восток, провел последние годы жизни великий русский драматург А. Н. Островский. Он переехал сюда 4 октября 1877 г. из Николоворобинского переулка, где не было, как он признавался, "покойного угла". Новая квартира в доме Голицына Островскому очень нравилась, и он беспокоился, чтобы успеть ее снять: "Так как смотритель дома говорил серьезно жене, что прежде, чем заключить условие, они соберут справки о нравственных качествах того лица, которому сдают квартиру, то можно сообщить ему некоторые из моих достоинств, не крупных (чтоб не поразить), например, что я не пьяница, не буян, не заведу азартной игры или танцкласса в квартире и прочее в этом роде". Вместо своего домика в Воробине Островский надеялся найти хорошую квартиру: "...если я увижу, что квартиру можно натопить до постоянной температуры +14о (по шкале Реомюра, что равно 17,5оС - Авт.), то я готов заключить контракт хоть на 10 лет. Отсутствие сырости и холода для меня самый важный вопрос - все остальное не стоит большого разговора". Квартиру сняли за 1000 рублей в год (что было довольно дешево для нее), и Островские прожили в ней 9 лет.
Здесь у Островского бывали Л. Н. Толстой, П. И. Чайковский, И. С. Тургенев, Д. В. Григорович, многие актеры. В этом доме были написаны "Бесприданница", "Сердце не камень", "Таланты и поклонники" и другие пьесы - Островский работал много, на износ. В 1886 г. Островский был назначен начальником репертуара московских театров и должен был занять казенную квартиру. Пока она отделывалась, он переехал в гостиницу "Дрезден" на Тверской (в современном доме № 6 на углу с Тверской площадью сохранились остатки старого здания). Отсюда он, уже больной, уехал в свое имение Щелыково Костромской губернии, где умер 2 июня 1886 г.
В том же 1886 г. голицынский дом покинули еще несколько квартирантов: умерли профессор Московского университета зоолог С. А. Усов и поэт, общественный деятель И. С. Аксаков.
С. А. Усов вложил много труда в создание Московского зоосада, он был автором нескольких работ по зоологии, но не только - он серьезно интересовался историей и археологией - в частности, ему принадлежит работа по истории московского Успенского собора.
Один из основоположников движения славянофилов И. С. Аксаков пользовался большой известностью как защитник угнетенных славянских народов, был одним из руководителей московского славянского комитета; издавал несколько газет, которые, как правило, закрывались царским правительством за независимые суждения и критику. И. С. Аксаков поселился в доме Голицына в сентябре 1885 г. и прожил всего около полугода - он скончался в своем кабинете за редактированием очередного номера газеты "Русь" 27 января 1885 г.: в некрологе в журнале "Русский архив" было сказано, что "...на Волхонке, в скромном помещении, окнами против храма Христа Спасителя, на 63-м году жизни, скончался сего 27-го января 1886 г. Иван Сергеевич Аксаков".
В домах, стоявших в бывшей голицынской усадьбе, в разное время жили многие известные деятели культуры: историк М. Н. Покровский, музыкальный критик Н. Д. Кашкин, актриса В. О. Массалитинова и многие другие.