Первое деревянное сооружение на месте существующего дворца принадлежало членам царской семьи. Начиная с 1726 года, имением владел Семеновский полк, далее его купил П.И. Шувалов. Дворец принадлежал генералу до 1795 года, а потом его выкупила сама Екатерина II и подарила его графине А.В. Браницкой.
Вот здесь достаточно интересный момент. По официальной версии Браницкая была племянницей Потёмкина, любовника Екатерины II, а из других источников можно найти информацию, что Браницкая являлась также любовницей Потёмкина. Так что имеет место быть версия, что подарив имение Александре Браницкой, Екатерина II просто напросто откупила от нее своего фаворита. Где правда, а где ложь сейчас конечно никто точно не знает. Александра владела дворцом 35 лет.
В 1830 году за четверть миллиона рублей дворец был куплен Б.Н. Юсуповым и до 1917 года оставался во владении его семьи. За этот период дворец кардинально изменил свой внешний вид и внутреннее убранство, коим мы и можем насладиться в настоящее время. Кроме красоты и великолепия, этот дворец «прославился» еще тем, что здесь в 1916 году от руки Феликса Юсупова и других заговорщиков был убит Григорий Распутин.
После того, как имение выкупил Юсупов, там началась масштабная перестройка. Благодаря тому, что в денежных средствах князь не был стеснен, над перестройкой работали не только русские, но и итальянские мастера. Все отдельно стоящие постройки были объединены в единый ансамбль, были посажены сады и оранжереи, изменено внутреннее убранство комнат. Нужно сказать, что на протяжении всего владения дворцом, Юсуповы постоянно что-то перестраивали, доделывали и переделывали по последнему слову моды.
После революции дворец был национализирован, и здесь проводились экскурсии. Однако в 1925 году из него начался массовый вывоз предметов интерьера. В военное время в здании располагался госпиталь. С 1960 году дворец является памятником истории федерального значения.