Здание гимназии является объектом культурного наследия федерального значения. Оно было построено в 1789 году для Главного народного училища, реорганизованного в 1808 году в Олонецкую губернскую гимназию. Официальная церемония открытия гимназии состоялась в 1811 году при участии академика П.Д.Лодия.
Здание является составной частью ансамбля бывшей Соборной площади (ныне пл.Кирова). Построено в стиле классицизма. Здание двухэтажное, кирпичное, стены оштукатурены и окрашены в светло-желтые тона. Главный фасад обращен на площадь. Композиция фасада изначально была симметричной, с тремя ризалитами. В центральном ризалите, акцентированном ступенчатым аттиком, был главный вход.
В 1870 году к левому торцу здания были пристроены помещения для преподавателей, а в 1896-м второй этаж пристройки был переделан под домовую церковь. Композиция здания стала асимметричной за счет высокого объема зала церкви с тремя арочными окнами на главном фасаде и треугольного фронтона крыши. Однако единый характер декоративных деталей (рустовка первого этажа, замковые камни, междуэтажный карниз) придает зданию зрительную целостность.
Планировка помещений гимназии, первоначально анфиладная, была частично переделана под коридорную систему. В интерьере сохранилась парадная пятимаршевая лестница напротив центрального входа.
В советское время в здании размещались различные учреждения культурно-просветительского назначения, а в 1960 году в нем был открыт Музей изобразительных искусств Карелии.