Первоначально сооружен во второй половине XVIII века. В 1812 году разрушен французскими солдатами, восстановлен в период с 1820-х по 1830-е годы под руководством архитектора Фёдора Тугарова. В конце 1830-х реконструирован по проекту архитектора М.Д. Быковского. Здание было незначительно переделано внутри, оставлены прежние печи и камины, но снаружи подверглось значительной перестройке: сделаны контрфорсы с фиалами, сооружены две башенки на южном фасаде и балкон между ними, устроены зубчатые парапеты по всему периметру здания, созданы лоджии на северном фасаде, сделаны новые оконные переплёты. В 1856-1857 гг. высокая черепичная кровля заменена низкой железной, открытые лоджии на северном фасаде застеклены и превращены в галереи. Несохранившиеся интерьеры 1830-1840-х гг. были отделаны в стиле позднего классицизма, за исключением спальни графини Паниной и двух молелен, носивших псевдо-готический характер. Стены и потолок в некоторых парадных комнатах были украшены росписями.
В 1930-е гг в доме сделано центральное отопление, печи закрашены, частично заменены оконные переплеты. Заново сделаны тянутые карнизы, засыпан подвал.
В 1950-х годах были проведены реставрационные работы по проекту архитектора М.В. Дьякова. Разобраны центральные контрфорсы на торцевых фасадах, на этих же фасадах заложена большая часть окон. Ликвидированы боковые входы на северном фасаде. Сняты лепные гербы Паниных, располагавшиеся на парапетах центральных ризалитов северного и южного фасадов. Внутренняя планировка второго этажа незначительно искажена. В двух больших залах парадной анфилады установлены современные перегородки.
Здание является одним из последних по времени сооружения примеров репрезентативного загородного дома-дворца в подмосковных усадьбах. Это лучший памятник псевдо-готики периода романтизма на территории Московской области. Дворец, снаружи производящий впечатление средневекового замка с мастерски исполненными «готическими» элементами декора, обладает классицистическим интерьером. Строго симметричная композиция внутренней планировки характерна для позднего ампира.