Граф Андрей Павлович Шувалов (1817−1876) — предводитель дворянства Санкт-Петербургской губернии, председатель губернского земского собрания, писатель из рода Шуваловых, генерал-майор (1865) и действительный статский советник (1873).

В семь лет он лишился отца, а к новой пассии матери, князю ди Бутеру ди Радали, симпатии не испытывал. Император Николай I назначил Андрею и его родному брату Петру официального опекуна — Михаила Сперанского, известного российского реформатора и близкого друга покойного отца мальчиков. Отнёсся к новому статусу Сперанский серьёзно: лично подбирая учителей, он позаботился о получении братьями качественного образования.

В 1835 году граф поступил в армию и уехал на Кавказ, где служил в одном полку с Лермонтовым. Между юношами зародилась крепкая многолетняя дружба: современники утверждают, что именно Андрей вдохновил писателя на создание Печорина, главного героя романа «Герой нашего времени».

Служил Андрей Шувалов достаточно долго. Участвуя в военных экспедициях, однажды он получил рану в грудь и заслужил Георгиевский крест. В отставку же вышел только в 1865 году. По возвращении в Петербург графа выбрали предводителем дворянства, что не удивительно: Шувалов был умелым оратором, искренне желал стране благополучия и поддерживал её духовный рост.

В 1876 году Андрей Шувалов произнёс в городской думе речь, в которой сказал: «Единственной моей целью было благо общественное». Этими словами он подвёл итог своей жизни и в тот же день скоропостижно скончался. Последние годы граф провёл в этом особняке.

Графиня Елизавета Андреевна Воронцова-Дашкова (урождённая графиня Шувалова; 1845−1924) — фрейлина русского двора, позднее статс-дама, кавалерственная дама ордена Святой Екатерины.

Дочь графа Шувалова, к которой вскоре перешёл дом, унаследовала силу духа и благородство отца. Она вникала в хозяйственные и общественные проблемы, занималась благотворительностью и даже помогала супругу решать военные вопросы.

Большую часть жизни Елизавета провела счастливо. С мужем, графом Илларионом Ивановичем Воронцовым-Дашковым, она была очень близка. Ласково называя супругу «Лили», влиятельнейший царедворец даже отказывался от службы, когда она болела.

Объединив в своих руках владения Воронцовых, Шуваловых и Воронцовых-Дашковых, Елизавета Андреевна с супругом стали крупнейшими землевладельцами.

Им принадлежало 21 имение площадью свыше 160 тысяч гектар земли, несколько маслобоен и заводов, фабрика и несколько доходных домов, 10 нефтеносных участков на Апшеронском полуострове.

Елизавета Андреевна и Илларион Иванович тесно дружили с императорской семьёй. Сохранили с ней тёплые отношения и следующие поколения рода: дети Воронцовых-Дашковых входили в ближний круг Николая II.

Поступки Елизаветы Андреевны целиком отражали девиз графского рода Шуваловых. Во время паники в Тифлисе, случившейся в декабре 1914 года из-за неудач российской армии под Сарыкамышем, ей предложили эвакуироваться, на что получили ответ графини: «Только трусы убегают. Вместо того чтобы организовать защиту родной земли, родного города, часть населения позорно бегут, не жалея на это средств. Я не уеду». До последнего эта сильная и гордая женщина оставалась верна своей семье и государству. Её супруг умер в старости, и Елизавета Андреевна тяжело переживала потерю. В апреле 1919 года она покинула Россию и в 1924 году скончалась в Германии. Потомки Воронцовых-Дашковых до сих пор живут во Франции и США.

Пережил дом немало обновлений. Его дарили, передавали по наследству и продавали. Во владения графа Андрея Павловича Шувалова особняк попал в 1854 году, когда представлял собой двухэтажное здание с каменным нижним этажом и деревянным верхним. Видимо, скромный облик Шувалову пришёлся не по вкусу, а потому граф пригласил военного инженера Г. Е. Паукера. Тот спроектировал пропорциональный трёхэтажный дом с парадным входом в центре и родовым гербом в верхней части фасада. Въезжали на территорию через металлические кованые ворота, увенчанные графской короной.

В 1858 облик фасада снова поменялся: появились новые ажурные ворота и металлический навес над парадным входом, увеличились оконные проёмы третьего этажа. Проект принадлежал академику архитектуры Л. П. Феррацини.

В доме на Моховой граф прожил последние годы жизни, и 11 июня 1912 года особняк перешёл к его дочери, Елизавете Андреевне Воронцовой-Дашковой. Владельцы частично использовали дом как доходный. В своё время квартиру внаём тут снимал в том числе и композитор и музыковед Б. В. Асафьев, который проживал в особняке с 1909 до 1917 года. На тот момент он служил в Мариинском театре. Парадные же помещения второго и часть третьего этажа всегда занимали домовладельцы. Впоследствии ими стали сыновья Елизаветы: сначала Александр, затем Илларион с семьёй.

В 1913 году от неисправного дымохода мраморного камина загорелись балки в комнате третьего этажа. После пожара понадобился ремонт и восстановление отделки, поэтому Воронцовы-Дашковы пригласили И. А. Фомина — одного из самых видных мастеров неоклассицизма. Архитектор заново отделал залы и создал интерьеры в неоклассическом стиле.

В книге «И. А. Фомин» известный петербургский исследователь творчества архитектора, В. Г. Лисовский, писал: «Интерьеры дома [на Моховой, 10] можно считать одним из самых лучших произведений Фомина 1910-х годов. Наибольший интерес представляет богато декорированная комната первого этажа [ACADEMIA BAR]. Одна стена кабинета решена в виде монументального четырёхколонного ионического портика. Между колоннами расположена ниша, перекрытая кессонированной аркой. Превосходен плафон кабинета: овальный декорированный купол украшен чередующимися трапециевидными и ромбическими кессонами, заполненными розетками необыкновенно тонкой работы. Такая тонкость лепнины — характерная черта большинства декоративных композиций Фомина».

Воронцовы-Дашковы покинули Россию в 1919 году, а дом № 10 долгое время пустовал. В годы блокады Ленинграда особняк сильно пострадал от обстрелов, а 14 ноября 1941 года в него попала фугасная бомба. Здание обвалилось внутри двора и со стороны фасада, произошёл завал бомбоубежища и разрушился водопровод. 45 человек пострадало, 30 — убито.

После Второй мировой войны особняк находился в более чем плачевном состоянии: были разрушены стены на уровне первого этажа, выбиты стёкла, уничтожены оконные рамы, утрачен лицевой фасад. Небезразличные люди старались его ремонтировать, однако постоянного владельца у дома не было.