За год до своей смерти Пётр I подписал указ «Об академии, в которой бы языкам учились, также прочим наукам и знатным художествам». Это петровское начинание после его смерти было воплощено в жизнь как художественное отделение Академии наук.
К середине XVIII века возникла мысль о создании отдельной гравёрно-рисовальной школы. Эту мысль развил И. И. Шувалов, который представил императрице Елизавете Петровне предложение о необходимости завести «особую трёх знатнейших художеств академию». Он предполагал открыть её в Москве, при задуманном им университете, но в результате академия художеств была учреждена в 1757 году в Санкт-Петербурге, хотя первые шесть лет числилась при Московском университете.
Здание имеет прямоугольную форму с круглым внутренним двором. Из здания в него ведут четыре двери, над которыми значатся четыре основные направления деятельности школы: «Живопись». «Скульптура», «Архитектура», «Воспитание». В настоящее время в центре круглого двора можно увидеть скульптуру графа Шувалова.