Sumatera Utara di saat zaman penjajahan Belanda merupakan suatu pemerintahan bernama Gouvernement van Sumatra yang wilayahnya meliputi seluruh pulau Sumatera, dipimpin oleh seorang Gubernur yang berkedudukan di kota Medan.
Setelah kemerdekaan, dalam sidang pertama Komite Nasional Daerah (KND), Provinsi Sumatera kemudian dibagi menjadi tiga sub provinsi yaitu: Sumatera Utara, Sumatera Tengah, dan Sumatera Selatan. Provinsi Sumatera Utara sendiri merupakan penggabungan dari tiga daerah administratif yang disebut keresidenan yaitu: Keresidenan Aceh, Keresidenan Sumatera Timur, dan Keresidenan Tapanuli.
Dengan diterbitkannya Undang-Undang Republik Indonesia (R.I.) No. 10 Tahun 1948 pada tanggal 15 April 1948, ditetapkan bahwa Sumatera dibagi menjadi tiga provinsi yang masing-masing berhak mengatur dan mengurus rumah tangganya sendiri yaitu: Provinsi Sumatera Utara, Provinsi Sumatera Tengah, dan Provinsi Sumatera Selatan. Tanggal 15 April 1948 selanjutnya ditetapkan sebagai hari jadi Provinsi Sumatera Utara.
Pada awal tahun 1949, dilakukan kembali reorganisasi pemerintahan di Sumatera. Dengan Keputusan Pemerintah Darurat R.I. Nomor 22/Pem/PDRI pada tanggal 17 Mei 1949, jabatan Gubernur Sumatera Utara ditiadakan. Selanjutnya dengan Ketetapan Pemerintah Darurat R.I. pada tanggal 17 Desember 1949, dibentuk Provinsi Aceh dan Provinsi Tapanuli/Sumatera Timur. Kemudian, dengan Peraturan Pemerintah Pengganti Undang-Undang No. 5 Tahun 1950 pada tanggal 14 Agustus 1950, ketetapan tersebut dicabut dan dibentuk kembali Provinsi Sumatera Utara.
Dengan Undang-Undang R.I. No. 24 Tahun 1956 yang diundangkan pada tanggal 7 Desember 1956, dibentuk Daerah Otonom Provinsi Aceh, sehingga wilayah Provinsi Sumatera Utara sebahagian menjadi wilayah Provinsi Aceh.
Kejadian penting terbentuknya Sumatera Utara:
1854 Gouvernement van Sumatra, ibukotanya di Medan.
1948 Berdiri Provinsi Sumatera Utara, Provinsi Sumatera Tengah, dan Provinsi Sumatera Selatan.
1949 Dibentuk Provinsi Aceh dan Provinsi Tapanuli/Sumatera Timur.
1950 Provinsi Aceh dan Provinsi Tapanuli/Sumatera Timur digabungkan kembali sebagai Provinsi Sumatera Utara.
1956 Berdiri Provinsi Aceh, dengan wilayahnya sebahagian dari Provinsi Sumatera Utara.
