После смерти князя Н. Б. Юсупова эти здания продаются в 1836 г. для Работного дома, учреждения, цель которого заключалась в призрении взрослых людей обоего пола, принадлежавших преимущественно к "низшим сословиям", а попросту в искоренении нищенства. "Работный дом" просуществовал до установления советской власти, после него здесь поместились Харитоньевские учебно-производственные мастерские и различные учреждения.
На том месте, где был юсуповский сад, в 1895 - 1896 гг. архитектором И. П. Машковым на частные пожертвования построено двухэтажное здание (№ 24) "Городского дома трудолюбия имени М. А. и С. Н. Горбовых", где занимались шитьем "приходящие женщины, неимущие и нуждающиеся в заработке, но имеющие свои квартиры".
До 1912 г. на месте громоздкого доходного дома по Большому Харитоньевскому переулку (№ 14, архитектор И. Г. Кондратенко) стоял скромный деревянный домик с мезонином в три окна, который приобрел чиновник Московской управы благочиния титулярный советник А. И. Федотов. Его сын Павел, известный художник, провел здесь детство. Он писал, что "сила детских впечатлений, запас наблюдений, сделанных мною при самом начале моей жизни, составляют, если будет позволено так выразиться, основной фонд моего дарования". Москвич по рождению и воспитанию, П. А. Федотов утверждал, что "все, что вы видите на моих картинах (кроме офицеров, гвардейских солдат и нарядных дам), было видено и даже отчасти обсуждено во время моего детства: это я заключаю как по воспоминаниям, так и потому, что набрасывая большую часть моих вещей, я почему-то представлял место действия непременно в Москве".
Рядом с небольшим домиком Федотовых в начале XIX в. находилась обширная усадьба (№ 12) статской советницы Е. П. Херасковой со старинными палатами в центре и большим прудом. В конце XIX в. в одном из несохранившихся зданий жил М. А. Врубель, он работал здесь над иллюстрациями к стихотворениям М. Ю. Лермонтова. В 1911 г. почти все строения в усадьбе ломают и по проекту Г. А. Гельриха ее начинают застраивать доходными домами, а в 1927 г. появляется дом жилкооператива "Научные работники". Здесь с 1927 по 1953 г. жил академик Е. А. Чудаков, один из создателей советской автомобильной промышленности. Ранее, в 1921 - 1927 гг., он жил в соседнем доме (№ 10), где тогда находилась Московская комиссия улучшения быта ученых, предоставившая ему две большие комнаты в бывшем особняке текстильного фабриканта Н. Ф. Грибова, построенном в 1900 г.
На следующем, через улицу Жуковского, участке (№ 8) в 1891 г. архитектор Н. В. Карнеев построил двухэтажное здание для бесплатной лечебницы Общества военных врачей "в память 25-летия царствования Государя Императора Александра Николаевича". Открыта она была 26 февраля следующего года и предназначалась, в "оказании помощи и пособии приходящим бедным людям всякого звания".
В пушкинское время этот участок принадлежал графу А. Л. Санти, главный деревянный дом усадьбы стоял на самом углу с нынешней улицей Жуковского. В дом Санти семья Пушкиных переехала из юсуповской усадьбы и жила здесь с 1803 по 1805 г. Тут родился 9 апреля 1805 г. Левушка Пушкин, любимый младший брат Александра Сергеевича, очень похожий на него внешне и обладавший неза-урядным поэтическим талантом.
Еще одно памятное пушкинское место в этом переулке находится на самом углу его с проездом Чистопрудного бульвара (№ 2/7). В начале XIX в. здесь был деревянный дом поручика П. М. Волкова, куда въехали Пушкины в 1800 г. В доме Волкова в 1801 г. родился третий ребенок Пушкиных - сын Николай.
Поблизости от Чистопрудного бульвара проходит Гусятников переулок, названный по фамилии "именитого гражданина" С. М. Гусятникова, жившего на углу с Мясницкой улицей (№2/30).
Начинают этот переулок здания (№ 1/32 и 2/30) весьма старые, по крайней мере, еще XVIII в., но в дальнейшем перестроенные. С левой стороны находился выстроенный, вероятно, в середине XVIII в. двухэтажный дом часовщика Андрея Анжу, украшенный типичными для архитектуры того времени барочными наличниками и рустом. На нем в 1877 г. надстроили третий этаж и изменили фасадный декор (архитектор К. Ф. Буссе). В продолжение многих лет, так же как и теперь, здесь находится аптека. Правое строение, надо думать, также осталось в основе своей с середины XVIII в., когда оно принадлежало "компанейщику волоченого и плющеного золота и серебра фабрики" Сергею Кропину. В 1880 - 1890-х гг. к этому зданию пристроили неказистые жилые дома, но зато напротив поднялись более представительные здания, из которых особенно выделяется угловой доходный дом (№ 3/1, 1910 г., архитектор Б. М. Нилус) ставший в советское время "домом старых большевиков"; в августе 1926 г. здесь жил писатель Н. А. Островский.
По той же нечетной стороне переулка, но уже ближе к его концу, в те же годы появились еще два жилых здания. В 1912 г. архитектор В. Е. Дубовский построил дом № II, где в оформлении фасада использовал готические детали, а над входом была установлена скульптура рыцаря в латах, опирающегося на меч, - намек на средневековый дом-крепость. Этот архитектор любил такого рода ассоциации - ему же принадлежит и проект "дома с рыцарями" на Арбате. В здании, стоявшем здесь до постройки современного, много лет - с 1880-х гг. до 1904 г. - жил известный русский ученый Н. Е. Жуковский. Фасад второго здания, на самом углу с Большим Харитоньевским переулком, исполнен в характерной манере автора этого дома архитектора О. Г. Пиотровича - с использованием гладкой, блестящей облицовочной керамики.
Между этими двумя группами доходных домов стоит деревянный дом (№ 7, 1880 г., архитектор М. А. Фидлер), уютно устроившийся в глубине заросшего деревьями участка. В нем в середине 1930-х гг. жил известный кинорежиссер Г. Л. Рошаль.
Рядом с этим домом, на месте скромного жилого кирпичного здания (№ 9, 1960-е гг.), в конце XIX в. в маленьком деревянном строении, жил известный всей Москве богач Г. Г. Солодовников, дававший деньги под высокие проценты. О его непомерной скупости ходили легенды - в этом доме обстановка была такая же, как у гоголевского Плюшкина, хозяин питался в харчевнях вчерашней кашей за три копейки, воровал яблоки у разносчиков, одел резиновыми шинами лишь задние колеса пролетки, где он сидел, а передние оставил как есть - "для кучера шин не желаю"... После его смерти обнаружилось, что почти все свое состояние, достигавшее нескольких десятков миллионов рублей, он оставил на благотворительные дела, строительство школ, больниц, домов с дешевыми квартирами. Наследники затеяли громкий процесс, но проиграли его. До 1917 года на солодовниковские деньги успели построить дома на 2-й Мещанской и больницу на Ходынском поле.
Перпендикулярно от Гусятникова отходит переулок Огородная слобода, долгое время называвшийся по фамилии заместителя председателя общества старых большевиков А. М. Стопани. До этого переулок носил название Чудовского, так как он шел по направлению к подворью кремлевского Чудова монастыря в Малом Харитоньевском переулке, а также - по домовладельцам - Фокиным, Клементьевским, Барышевским.
Вплотную к угловому дому (№ 1) в переулке Огородная слобода примыкает высокий доходный дом № 3, выстроенный архитектором А. Д. Чичаговым, и далее по переулку по той же стороне - особняк крестьянина текстильного села Озеры Коломенского уезда Михаила Щербакова, владельца крупной текстильной фабрики там (1885 г., архитектор П. А. Дриттенпрейс). В несохранившемся доме на этом участке в 1862 - 1868 гг. провела последние годы жизни актриса Л. П. Никулина-Косицкая, а со второй половины 1880-х гг. жил выдающийся режиссер В. И. Немирович-Данченко.
Напротив стоят также особняки. На правой стороне переулка особняк (№ 2), построенный архитектором Н. И. Якуниным для Д. А. Беренса, директора Первого Российского страхового общества в 1892 г., не так интересен, как его соседи. В 1919 г. в нем располагалось управление продовольственной армии Наркомпрода, организации, призванной большевиками вооруженной рукой обеспечить продовольствием их армии и голодающие города. Теперь дом занят посольством Швейцарии.