Усадьба Гончаровых была заложена в первой четверти XVIII века при Афанасии Абрамовиче Гончарове. Были построены главный усадебный дом, корпуса полотняной и бумажной фабрик, церковь Спаса Преображения, Конный двор и Спасские ворота. К сожалению, не сохранилось документов, из которых можно было бы узнать имя его архитектора, но существует предположение, что им мог быть великий Б. Растрелли. Первоначально дом имел всего два этажа, был тёмно-красного цвета с белоснежными деталями пышного барочного декора. В 40-50-х гг. он был перекрашен в лазоревый цвет, а в 70-х гг. перестроен в стиле господствующего тогда в архитектуре классицизма. Перестройка дома осуществлялась по проекту московского архитектора К.И. Бланка. К концу XVIII века это был трёхэтажный дом светлого цвета с ризалитами по основным фасадам. Именно таким видел этот дом в 30-х гг. XIX столетия приезжавший в Полотняный Завод А.С. Пушкин. Усадьба Гончаровых была одной из наиболее крупных по размерам и наиболее богатых по убранству российских усадеб.
Тем не менее, строительство господского дома продолжилось. В 1787 году был надстроен третий этаж, а в 1792 году 14 комнат второго этажа были расписаны и отделаны лепниной. В 1811 году в Большой гостиной было сделано перекрытие, фасад приобрел классическую отделку. В работе принимали участие те же мастера, которые расписывали усадьбу Золотарёва в Калуге и дом Щепочкина в Полотняном Заводе.
После Малоярославецкого сражения, с 15 по 17 октября 1812 года (по юлианскому календарю) в усадьбе размещалась главная квартира русской армии и ставка главнокомандующего Михаила Илларионовича Кутузова. В память о том событии в комнате хозяйки выставлен портрет Кутузова работы Моисеенко с оригинала Дж.Доу 1820-х годов.
С 1832 по 1860 год усадьба принадлежала Дмитрию Николаевичу Гончарову — внуку Афанасия Николаевича Гончарова, затем перешла к его сыну Дмитрию Дмитриевичу Гончарову.
К началу XX столетия усадьба Гончаровых в Полотняном Заводе пришла в некоторое запустение. Последней хозяйкой стала актриса Вера Константиновна Гончарова, вдова Д.Д.Гончарова.
В 1918 г. главный дом усадьбы был национализирован, а предметы обстановки отправлены на хранение в Калужский губернский исторический (ныне краеведческий) музей. На протяжении нескольких десятилетий советской власти в доме находилась средняя школа, а также действовали курсы для повышения квалификации работников писчебумажной промышленности.
Огромный урон Полотняному Заводу был нанесен в 1920-1940 годы. В 1919 году была разрушена домовая Спасо-Преображенская церковь, вскрыт фамильный склеп Гончаровых. В 1960-е годы на месте храма построили столовую. В Великую Отечественную войну, в первый день оккупации Полотняного Завода немцами, усадебный дом сгорел, остались лишь остовы стен. Последующие десятилетия продолжали оказывать своё разрушительное воздействие.
Решение о восстановлении усадьбы было принято Калужским Облисполкомом в октябре 1967 г. Первые восстановительные работы начались в 1972 г. под руководством московского архитектора В.А. Жилиной – праправнучки Сергея Николаевича Гончарова (младшего брата Н.Н. Пушкиной). Затем реставрация была продолжена архитекторами В.А. Корчагиным и А.А. Кондратьевым. В июне 1999 года в главном усадебном доме был открыт музей.
