Здесь остановился император Петр II, прибывший в Москву на коронацию, которая совершилась 24 февраля 1727 г. В этом же дворце умерла его сестра Наталья Алексеевна, скончавшаяся пятнадцати лет от чахотки 22 ноября этого же года, и Петр покинул дворец, но в апреле следующего года опять поселился в нем. Князья Долгорукие, под влияние которых попал Петр, задумали женить его на дочери князя Алексея Долгорукого Екатерине и успели совершить торжественное обручение. Из Головинского дворца, где жили Долгорукие, процессия из множества карет, сопровождаемых придворными чинами и 1200 гренадерами, направилась через Салтыков мост на другой берег Яузы к Лефортовскому дворцу, где в одной из зал находился стол, покрытый золотой парчой, а на нем крест и две золотые тарелки с обручальными кольцами. Церемонию совершал новгородский епископ Феофан Прокопович. Долгорукие почти достигли своей цели - все повиновалось им, все смотрели им в глаза и чаяли получить милости, но... вмешался его величество случай: 6 января 1730 г. в праздник Крещения Петр II поехал на праздник водосвятия, а на следующий день у него обнаружилась страшная тогда болезнь - оспа. Болел он недолго, и 18 января 1730 г., в тот самый день, на который было назначено бракосочетание, скончался в Лефортовском дворце.
После этих событий дворец изредка использовался для самых различных целей - в нем останавливалась в 1742 г. после коронации Елизавета Петровна, он был отведен для жительства лейб-кампанцев, тех самых, которые помогли ей совершить переворот и взойти на престол. Иногда селили там иностранных посланников и членов их свиты. В большой московский пожар, случившийся 29 мая 1737 г. и начавшийся у церкви Антипия, что против Колымажного двора, Лефортовский дворец сгорел и был потом значительно перестроен. В 1771 г. в нем устроили чумной карантин, потом там жили театральные служители, а с января 1804 г. сюда перевезли из Кремля архив Военной конторы, находившийся здесь до 1812 г. После этого дворец стоял необитаемым, и, как писал в прошлом веке его историк, "сама природа, без всякой человеческой заботы, украсила его дикорастущими большими деревьями по окнам, дверям, кровле и т. п. В нем имели пристанище стаи птиц и толпы жуликов, так что поздно вечером и ночью никто не смел проходить мимо".
Только в конце 1840-х - начале 1850-х гг. дворец исправили, надстроили третьим этажом, переделали внутри и опять разместили в нем архивные дела: на этот раз Московского отделения архива Главного штаба. И по настоящее время в нем хранятся исторические документы сразу двух архивов - военно-исторического и фотодокументов.
В семье начальника военного архива Дмитрия Васильевича Васильева, жившего на казенной квартире, в 1900 г. родился сын Сергей, будущий режиссер известного кинофильма "Чапаев". Первые 12 лет он прожил в дворовом флигеле, где и помещена мемориальная доска.
Слева от дворца Лефорта стоял так называемый Желтый дворец, называвшийся также Марлинским. Это название было перенесено сюда из Петергофа, где находился небольшой дворец Марли, построенный в 1723 г. по образцу дворца в городе Марли короля Людовика XIV, законодателя мод тогдашней Европы. К сожалению, ничего не известно ни об истории, ни о внешнем виде московского дворца, исчезнувшего, вероятно, после пожара 1812 г. Один из первых исследователей истории московского быта, поэт и драматург М. Н. Макаров, проживший в Москве с конца XVIII в. и до кончины в 1847 г., писал, что в этом дворце жили придворные певчие, и в том числе престарелые, бывшие уже на пенсии. Название "Марлинский" в народе переделали на более понятное: "Простолюдины звали этот дом Мурлышным, что на ладу (понимая, что тут мурлыкали, пели и ладили)... Спавшие с голосу певчие, как бы в честь себе, добавляли к своим фамилиям прозвание Марлинских и от того-то бывало, Боярин Московской, устроивая собственный хор из домочадцев, говаривал, что у него регентом ученый певчий Марлинец, только спавший с голоса".
На улице Коровий брод (теперь 2-я Бауманская), справа от Лефортовского находится Слободской дворец, тот самый, в котором сейчас помещается МВТУ.
История его начинается с 1749 г., когда канцлер А. П. Бестужев-Рюмин начал строительство своего большого московского дома. Императрица Елизавета Петровна часто приезжала в Москву, и ее ближайшему советнику и руководителю русской внешней политики не пристало быть в Москве без своего дома, место для которого он выбрал в самом фешенебельном районе - Немецкой слободе, рядом с императорскими дворцами. Позже, в 1752 г., он писал Елизавете: "Однако ж и то истинно, что скупя разные пустыри, искривившиеся хижины и мерзевшие болота, все в проспекте Императорского дома стоявшие, за нужно и должно я находил такое строение на том месте поставить, которое, стоя против и подле Императорских домов, не казалось бы близостью своею отнимать их великолепие".
Строительство дворца длилось долго, ведь владелец жил большей частью в Петербурге, где у него на Каменном острове тоже строился огромный дворец - он даже жаловался, что обе постройки его совсем разорили. К 1758 г., времени его опалы и ссылки, отделка московского дворца была еще далеко не закончена. По навету врагов Бестужева обвинили в измене и приговорили к смертной казни - отсечению головы, но императрица Елизавета, помня его прежние заслуги и то, что он был одним из возведших ее на престол, заменила казнь ссылкой в село Горетово, недалеко от Можайска, где ему было велено жить, не отлучаясь, "дабы другие были ограждены от уловления мерзкими ухищрениями состарившегося в них злодея". Екатерина II возвратила Бестужева из ссылки, специально созданная комиссия его оправдала, он даже был награжден чином генерал-фельдмаршала, но влияния на государственные дела уже не имел. Бестужев просил Екатерину купить его московский дом, и в 1764 г. его приобрели за 34 тысячи рублей в казну, а через три года подарили фавориту императрицы Алексею Орлову, Однако временщик почти не жил в нем, дворец постепенно ветшал, так что в 1778 г. его хотели даже разобрать, а материал использовать для строения Екатерининского дворца напротив, на другом берегу Яузы. В 1787 г. Слободской дворец был пожалован Екатериной другому руководителю внешней политики России - А. А. Безбородко.
Не удивительно, что перестройка пожалованного этому влиятельному вельможе дворца производилась по проекту лучшего петербургского архитектора Джакомо Кваренги и под руководством лучшего московского - Матвея Казакова, а деревянную церковь, пристроенную к зданию дворца, проектировал Василий Баженов. В 1764 г. Безбородко писал: "Дом мой отделан и теперь в городе первый". О нем сохранились восхищенные отзывы современников - вот что, например, было написано в "Дневных записках" польского короля Станислава Понятовского, побывавшего в Москве в апреле 1797 г.: "Король осматривал дом Министра Графа Безбородки... Особенно прекрасны бронзы, ковры и стулья - последние и покойны и чрезвычайно богаты. Это здание ценят в 700000 рублей. Граф Безбородко, который сам показывал Королю все комнаты, сказал, что он построил этот замок в девять лет. Петербургский его дом, который богатее драгоценными картинами, не может равняться с Московским в великолепии убранства; многие путешественники, которые имели случай видеть Сен-Клу в то время, когда он совсем отделан был для французской королевы, утверждают, что в украшении Безбородкина Дворца и большее пышности и более вкусу".
Только что построенный и отделанный дворец был продан Павлу 1 к его коронации, взамен же император отдал Безбородко "порожнее место на Яузе у Николы в Вороби-не", у нынешнего Николоворобинского переулка, где он задумал строить с помощью того же Кваренги новый огромный дом.