1867'te kabul edilen Teşkil-i Vilayet Nizamnamesi ile Erzurum Eyaleti'nin kaldırılması ile kurulmuştur. Berlin Antlaşması ile Osmanlı Devletinde olan Kars ve Ardahan sancakları (Narman nahiyesi hariç) Rusyaya verildi. 1875 yılında Bitlis, Van ve Hakkari ayrı vilayet olarak Erzurum Vilayeti haricinde bırakılmıştır. 1879 yılında Dersim müstakil bir vilayet olmuş ve Erzurumdan ayrılmıştır.
Erzurum Vilayetinin 1867-1875 yıllarında 7 sancak olarak teşkilatlandırılmıştır:[2]