Основа коллекции Тульского художественного музея была заложена еще в 1884 году, когда при тульской епархии был образован музейный фонд, получивший название древлехранилища. В 1902 году оно было переименовано в Палату древностей, с которой позднее был соединен Естественно-исторический музей.Первоначально коллекции, доступные для посещения публикой по выходным и праздничным дням, размещались в небольшом помещении, расположенном на
Архиерейском дворе. В 1908 году было принято решение построить для музея специальное здание. Для чего даже была выделено место на территории Тульского кремля. Проект музейного здания разрабатывал известный художник и архитектор Д.Стеллецкий. Но этот проект не был осуществлен из-за начавшейся первой мировой войны и недостатка средств.
Пополнение художественных коллекций особенно активно шло в период 1910-х-1930-х годов. В 1912 году в Палату древностей было передано собрание произведений русских художников 19 – начала 20 века Художественно-промышленного музея, существовавшего в Туле при Художественных учебно-ремесленных мастерских.После революции Палата древностей была преобразована в художественно-исторический музей, куда были включены также и национализированные коллекции из дворянских поместий Тульской губернии (Бобринских, Олсуфьевых, Гагариных, Оболенских, Урусовых и др.). Музей был открыт для посещения в 1919 году. В 1927 году он был переименован в краеведческий, поскольку в его
состав вошли также и коллекции отдела краеведения. В 1920-е годы фонды музея пополнились также собранием Музея живописной культуры, недолго существовавшим при Художественно-промышленном техникуме Тулы. Эта коллекция состояла в основном из работ русских художников-авангардистов – А.Куприна, Р.Фалька, А.Осмеркина, П.Кончаловского, Н.Гончаровой, В.Рождественского и др. Кроме того, музейное собрание пополнялось поступлениями из Государственного музейного фонда и фондов Третьяковской галереи.В 1939 году Тульский художественный музей стал самостоятельным. В годы войны собрание было эвакуировано в Сибирь и таким образом спасено от гибели. В 1964 году музей получил новое здание, специально построенное по проекту тульского архитектора П.Зайцева.
Фонды музея продолжали активно пополняться и в послевоенные годы. Это происходило, прежде всего, за счет даров частных лиц, а также за счет приобретения частных коллекций московских и петербургских коллекционеров. Например, в 1977 году музей получил завещанную ему коллекцию Е.Гречениной, содержавшую более 80 произведений западноевропейской живописи.
К настоящему моменту собрание Тульского художественного музея содержит более десяти тысяч экспонатов. Выделяется довольно значительная для провинциального музея коллекция западноевропейской живописи с работами Леандро Бассано, Луки Джордано, Доменико Фетти, Класа
Моленара, Гюбера Робера, Констана Труайона.Исключительно полно представлено творчество русских художников 18-20 века, а также творческих группировок первых послереволюционных лет, и советское искусство 1960-х-70-х годов. Декоративно-прикладное искусство представлено работами мастеров народных промыслов, в частности филимоновской игрушки.