Η ιστορία του μουσείου ξεκινά στα τέλη του 19ου αιώνα, όταν η ανάγκη για τη στέγαση των ανεκτίμητων ευρημάτων από το Ιερό του Διός έγινε επιτακτική.
Μεταξύ 1883 και 1887, ανεγέρθηκε το πρώτο μουσείο σε έναν λόφο βορειοδυτικά του αρχαιολογικού χώρου.
Πρόκειται για ένα κομψό νεοκλασικό κτίριο, καρπός του σχεδιασμού των Γερμανών επιστημόνων Friedrich Adler και Ernst Curtius, οι οποίοι οργάνωσαν τις πρώτες συστηματικές ανασκαφές.
Η ανέγερση υλοποιήθηκε χάρη στη γενναιόδωρη χορηγία του εθνικού ευεργέτη Ανδρέα Συγγρού, το όνομα του οποίου κοσμεί μέχρι σήμερα το επιστύλιο της εισόδου.
Οι καταστροφικοί σεισμοί του 1953 και ο διαρκώς αυξανόμενος όγκος των ευρημάτων κατέστησαν αναγκαία τη δημιουργία ενός σύγχρονου χώρου.
Στα τέλη της δεκαετίας του 1950, ξεκίνησαν οι εργασίες για το Νέο Αρχαιολογικό Μουσείο στην κοιλάδα βορειοδυτικά του Κρόνιου λόφου.
Σχεδιασμένο από τον εμβληματικό αρχιτέκτονα Πάτροκλο Καραντινό, το κτίριο ολοκληρώθηκε το 1970.
Η αρχιτεκτονική του δομή, με την κεντρική αίθουσα των γλυπτών να περιβάλλεται από εκθεσιακούς χώρους σε σχήμα U, προσέφερε μια νέα, επιβλητική εμπειρία στον επισκέπτη.
Από το 1974 ξεκίνησε ένα τιτάνιο έργο επανέκθεσης υπό την επίβλεψη του αρχαιολόγου Νίκου Γιαλούρη και των γλυπτών Στέλιου Τριάντη και Ισμήνης Στυψιανού.
Το 1982, το μουσείο άνοιξε επίσημα τις πόρτες του, παρουσιάζοντας τα αετώματα του Ναού του Διός σε όλο τους το μεγαλείο.
Λίγα χρόνια αργότερα, το 1994, η φτερωτή Νίκη του Παιωνίου απέκτησε τη δική της αυτόνομη αίθουσα, απαλλαγμένη από παλαιότερες άστοχες παρεμβάσεις, αποκαλύπτοντας την αέρινη ομορφιά της.
Με αφορμή τους Ολυμπιακούς Αγώνες του 2004, το μουσείο ανακαινίστηκε ριζικά για να ανταποκριθεί στις απαιτήσεις της σύγχρονης μουσειολογίας.
Στις 24 Μαρτίου 2004 εγκαινιάστηκε μια νέα εποχή, με τρία μουσειακά κέντρα να λειτουργούν συμπληρωματικά: το Αρχαιολογικό Μουσείο, το Μουσείο Ιστορίας των Ολυμπιακών Αγώνων (το παλαιό Συγγρείο) και το Μουσείο Ιστορίας των Ανασκαφών
Σήμερα, στους 3.500 τ.μ. του εκθεσιακού του χώρου, το μουσείο αφηγείται την ιστορία του Ιερού του Διός από τους προϊστορικούς χρόνους έως τους πρώτους μεταχριστιανικούς αιώνες.
Μέσα από ένα πανόραμα αναθημάτων και αριστουργημάτων της αρχαίας τέχνης, ο επισκέπτης γίνεται κοινωνός της εξέλιξης του ελληνικού πνεύματος και της δόξας της Ολυμπίας.
