Museum Aceh didirikan pada masa pemerintahan Hindia Belanda, yang pemakaiannya diresmikan oleh Gubernur Sipil dan Militer Aceh Jenderal H.N.A. Swart.

Bangunannya merupakan sebuah bangunan rumah tradisional Aceh (Rumoh Aceh) yang berasal dari Paviliun Aceh yang ditempatkan di arena Pameran Kolonial (De Koloniale Tentoonsteling) di Semarang.