Официально художественный музей в Петрозаводске был открыт в октябре 1960 года, однако история его создания восходит еще к 1830-м годам. В 1837 году к приезду в город наследника цесаревича Александра Николаевича, совершавшего познавательную поездку по России, в Петрозаводск был прислан циркуляр о необходимости показать высокому гостю достопримечательности края. Поэтому в 
1838 году в городе была открыта первая экспозиция, которую назвали «Музеум». На ней было представлено художественное литье Александровского (прежде Петровского) чугунолитейного завода.В 1870 году в городе местные энтузиасты основали естественно-промышленный и историко-этнографический музей, где были собраны и художественные коллекции. В 1903 году в Петрозаводске создали музейный фонд при Олонецкой епархии, названный Древлехранилищем. С 1917 по 1920 годы оно существовало как Церковно-исторический музей. Там были собраны иконы и церковная утварь из старообрядческих монастырей. Сейчас сохранившаяся часть этих колекций входит в состав фонда древнерусского искусства современного художественного музея.
В 1905 году в городе состоялась первая персональная выставка В.Розенблюм, выпускницы Академии художеств, преподававшей в местной Мариинской женской гимназии. Художница представила пейзажи с видами Петрозаводска и портреты горожан. Это событие в очередной раз привело жителей Петрозаводска к мысли о необходимости организации в городе картинной галереи.
Вопрос о создании отдельного художественного музея поднимался достаточно часто и в послереволюционные годы. В 1930-х гг. эту проблему особенно активно ставили перед местным руководством художники В.Н.Попов и А.Я.Андриянов, работавшие в Петрозаводске. Но началась война, и все подобные инициативы пришлось отложить на неопределенное время.Новый всплеск интереса к искусству возник уже после окончания войны. В 1945 году по договору о реституциях из Финляндии в Карелию вернули более
тысячи икон, вывезенных финнами. Для их исследования по инициативе И.Грабаря в Петрозаводск были направлены двое лучших на тот момент специалистов по иконописи из Третьяковской галереи, Н.Е.Мнева и В.Г.Брюсова. Эксперты определили, что для того, чтобы сохранить возвращенные шедевры, необходимо принимать срочные меры. Многое нуждалось в реставрации и консервации.Кроме того, во время своего пребывания в республике В.Г.Брюсова провела несколько экспедиций по Карелии, из которых тоже было привезено немало памятников иконописи и народного искусства. В итоге, в 1960 году в Петрозаводске был создан, наконец, самостоятельный художественный музей, первым директором которого стала М.В.Попова (1927 – 2000), приложившая немало усилий для его организации.
В основу его коллекций кроме обширного собрания иконописи из Древлехранилища, вошли также собрание русского искусства Карельского государственного краеведческого музея, заложенное еще в конце 19 века, произведения иконописи и народного декоративно-прикладного искусства, собранные во время экспедиций по Карелии, а также работы современных карельских художников и некоторое количество произведений западноевропейских мастеров. В 1960-х –
1980-х годах собрание музея пополнялось дарами и приобретениями из частных коллекций. Помощь музею постоянно оказывает Русский музей.Наибольшей популярностью среди посетителей пользуются экспозиции древнерусского и народного карельского искусства, выставка работ художника М.Цыбасова, ученика знаменитого П.Филонова, а также выставка произведений, написанных по мотивам эпоса «Калевала».
Здание, в котором располагается музей, является памятников архитектуры конца 18 века, имеющим федеральное значение. В нем всегда располагались просветительские учреждения: сначала – Главное народное училище, затем Олонецкая губернская мужская гимназия, которую в свое время закончил В.Поленов, после революции там был Дворец Труда, позднее – Публичная библиотека, Дворец пионеров и Училище культуры.