В 1871 году знаменитый композитор Николай Римский-Корсаков был приглашён на должность профессора кафедры теории композиции и инструментовки. В это время Римский-Корсаков начинает писать первые в России (но до сих пор актуальные) учебники и учебные программы по гармонии и теории композиции, по которым занимаются студенты консерватории и по сей день. Учениками Римского-Корсакова были выдающиеся музыканты: Анатолий Лядов и Максимилиан Штейнберг. Позже они тоже стали преподавать тут.

В 1918 году, после Октябрьской социалистической революции, Консерватория становится государственным ВУЗом.

В 1956 году в учреждении появляется военно-морской факультет, позднее упразднённый. Сейчас консерватория имеет 7 факультетов: фортепианный, оркестровый, вокальный, режиссёрский, дирижёрско-композиторский, народных инструментов, музыковедческий.

Само здание Консерватории находится в здании Большого (Каменного) театра, который пережил капитальную реставрацию в 1896 году, произведённую архитектором Владимиром Николя.

Самым первым выпускником Консерватории по классу композиции стал Пётр Ильич Чайковский, окончивший её в 1865 году с большой серебряной медалью.

На весну 2020 года здание закрыто строительными лесами и ожидает конца реставрации.