В 1836 году Павел Николаевич Демидов купил у надворного советника Монферрана дом (Б. Морская,45) для своей жены — Авроры Шернваль, за 150 тыс. целковых. И заказал у него же проект перестройки здания. Дом был перестроен по проекту Монферрана, согласованному с Павлом Н. Демидовым. Здание получилось нарядное, ассиметричное по композиции в духе итальянского Возрождения. К главному одноэтажному корпусу, несколько отступя от красной линии, примыкает 3-х этажная пристройка с открытой террасой на втором этаже, украшенной декоративной скульптурой. Аттик здания украшают тремя горельефами – “Король Франциск около умирающего Леонардо да Винчи”, “Микеланджело показывает папе Павлу Третьему проект собора Святого Петра” и “Император Карл подает Тициану кисть”. Везде показаны деятели искусства и власть предержащие. С первыми нужно отождествлять Павла Демидова, со вторыми – Монферрана. Кроме того, на фронтоне здания имеются несколько барельефов, выполненных на темы басен Лафонтена. В 1873 году Павел П. Демидов, сын Авроры, продал особняк княгине Гагариной Вере Фёдоровне, а соседний особняк в 1874 году — её младшей сестре Ливен Наталье Фёдоровне. Обе они по отцу фон Пален. В 1890 году архитектор И. В. Штром перестроил особняк, а именно, перенес парадный вход, поменял интерьер и выполнил новую отделку помещений. И. В. Штром убрал также двери с зонтиками в левой стороне здания и сделал вход с правой стороны, в том месте, где располагалось крайнее окно, т.е. там, где он расположен и сейчас. Архитектор Месмахер переделал интерьеры.
Нынешние интерьеры Дома композиторов отреставрированы по чертежам и рисункам 1890 года. В 1918 году дом был конфискован за неуплату хозяевами налогов за два года. Новым владельцем стал Комиссариат народного хозяйства. Сейчас в здании — Союз композиторов.