Музей засновано в 1849 р. як Громадський музей старожитностей Катеринославської губернії. Він є одним із найстаріших музеїв в Україні. Біля витоків його створення стояли місцеві діячі – очільник Катеринославської губернії А.Я. Фабр і директор гімназії та училищ Я.Д. Грахов. З 1902 до 1919 року музей мав назву – Обласний музей імені О.М. Поля, у 1919–1926 рр. – Народний музей, 1927–1935 рр. – Крайовий історико-археологічний, з 1935 р. – Історичний музей, з 1940 р. – Дніпропетровський національний історичний музей ім. Д.І. Яворницького.
Великий внесок в розвиток музею зробили: знавець історії, підприємець, меценат і колекціонер О.М. Поль, український історик, академік Д.І. Яворницький (директор музею в 1902–1933 рр.), а також директор музею у 1963–1983 рр., історик, заслужений працівник культури УРСР А.Ф. Ватченко.