Історія музею розпочалася в дні помпезного святкування 200-річчя Полтавської баталії. Поразка в російсько-японській війні, революція 1905–1907 років, пожвавлення національних рухів спонукали владу до посилення імперського патріотичного виховання населення шляхом пропаганди воєнно-історичного минулого, прославлення могутності Російської держави та її армії. Однією із вигідних для цього тем стала перемога Петра І 1709 року. Імперія продовжувала творити міф про Полтавську битву як «преславну вікторію». У серпні 1908 року Микола ІІ підписав указ про створення Міжвідомчої комісії з підготовки святкування 200-річчя Полтавської битви на чолі з генералом від кавалерії бароном О. Більдерлінгом. Місцем проведення цілої низки спланованих урочистих заходів була Полтава. До ювілейної дати в місті звели пам’ятники та відкрили музей Полтавської битви на Шведській Могилі.
Фундатором і першим директором (1909-1918) музею був відомий полтавець Іван Павловський (1851-1922). Тридцять дев’ять років він викладав історію в Петровському Полтавському кадетському корпусі (1874-1913). Учений був одним із засновників та незмінним секретарем Полтавської губернської вченої архівної комісії (1903-1918), діяльним членом Полтавського церковного історико-археологічного комітету (1906-1917), неодноразово обирався гласним Полтавської міської думи. Сучасні історики до цього часу користуються бібліографічними довідниками з історії Полтавщини, виданими І.Павловським.
Каталог музею Полтавської битви на Шведській Могилі, виданий 1910 року, засвідчує, що колекція налічувала 339 експонатів: портрети історичних осіб, гравюри, картини, зброя, манекени воїнів. Притаманне І.Павловському прагнення якнайповніше висвітлити події сприяло наповненню експозиції предметами, що відображали всі сторони військового конфлікту. Тож відвідувач також міг побачити портрети шведських воєначальників, козацькі старожитності та дев’ять зображень гетьмана Івана Мазепи (за радянської доби в експозиції не було жодного).
Протягом 1917-1918 років музей зазнав кількох пограбувань, і І.Павловський передав залишки колекції до Центрального пролетарського музею Полтавщини (нині Полтавський краєзнавчий музей імені Василя Кричевського). У 20-30-х роках ХХ століття вона експонувалася в окремій залі під назвою «Полтавська баталія» і за два десятиліття зазнала діаметрально протилежних оцінок. Так, у період українізації висловлювалася думка ліквідувати цю частину музею, «тому що … для України цей момент особливо трагічний, бо з того часу царська Москва міцно підібгала під себе Україну і позбавила споконвічної автономності вільнолюбивий український народ». А вже в 30-х роках радянськими ідеологами почала активно впроваджуватися теза про братське героїчне минуле російського, українського та білоруського народів, а відтак події 1709 року набувають особливої актуальності, «коли фашистські палії війни мріють про загарбання квітучої соціалістичної України». На початку 1939 року вийшли загальносоюзна та республіканська постанови КП(б), КП(б)У щодо 230-х роковин Полтавського бою. Музейна виставка «Полтавська баталія» була значно розширена.
Під час Другої світової війни у вересні 1941 року частину колекції І.Павловського евакуювали до Уфи, решта предметів залишилася в Полтаві і постраждала від пожежі в роки нацистської окупації. А вже в липні 1944 року в краєзнавчому музеї полтавці могли ознайомитися з виставкою «Героїчне минуле нашого народу», у якій був розділ «Полтавська битва».
У травні-червні 1949 року постановами Рад Міністрів СРСР та УРСР зобов’язано «поновити Музей Полтавської битви, як музей Республіканського підпорядкування ІІ категорії». Вдруге заклад відкрили 23 вересня 1950 року в приміщенні інвалідного будинку на Шведській Могилі. Сюди й повернулися вцілілі предмети зі збірки І. Павловського. Колекція також поповнилася унікальними артефактами початку ХVІІІ століття за рахунок надходжень з інших музейних закладів колишнього Радянського Союзу, зокрема з Ермітажу, Третьяковської галереї, Київського, Львівського, Чернігівського історичних музеїв.
У повоєнний час на замовлення Й.Сталіна вийшли друком монографії провідних радянських істориків Б.Тельпуховського, Є.Порфир’єва, В.Шутого, Є.Тарле, присвячені темі «захисту» Росії від Карла ХІІ. У радянському міфі про події Північної війни в Україні з’явилися поняття «народна війна», «партизанська війна проти шведських загарбників», які поєднувалися із «класовою боротьбою народу проти експлуататорів-мазепинців». Посилювалися акценти на збереженні українським народом вірності союзу з Росією. Ці обставини суттєво вплинули на тематико-експозиційний план музею. З нагоди 250-річчя історичної події тут добудували додаткову залу, в якій розмістили діораму «Полтавська битва», виконану художниками військової студії імені М.Грекова, і батальні полотна майстрів радянської доби, що демонструють героїчний міф Полтавської вікторії. За радянських часів музею була відведена роль активного пропагандиста комуністичної ідеології.
У другій половині 80-х років ХХ століття під керівництвом заслуженого художника України А.Щербака здійснили реекспозицію музею. Було збережено хронологічний принцип викладу подій Великої Північної війни та висвітлено вплив Полтавської битви на хід європейської історії. Наголошено на участі України у військовому протистоянні. 1994 року у музеї відкрили залу, присвячену історії українського козацтва. Завдяки співпраці з Товариством військової історії Швеції експозиція поповнилася предметами, що розкривають участь каролінців у подіях Великої Північної війни. З урахуванням опублікованих історичних джерел та досліджень провідних українських істориків екскурсійний супровід у музеї постійно доповнюється новими матеріалами.
Нині колекція налічує понад сім тисяч експонатів, із них три тисячі двісті – предмети основного фонду. В експозиції знаходяться унікальні картини Дені Мартена (молодшого), Бернардо Белотто Каналетто, Жана Марка Натьє, Юрія Рєпіна, Миколи Самокиша, оригінальні портрети історичних діячів роботи художників ХVІІІ століття, гравюри, автентична зброя, археологічні знахідки, старовинні предмети побуту.
