İlçenin ilk yerleşime ne zaman açıldığı kesin olarak bilinmemektedir. Erzincan ile birlikte zaman zaman çeşitli devletlerin egemenliğine girmiştir.
Önceleri Mans adıyla bilinen ilçenin hangi tarihte kurulduğu bilinmemektedir. 1071 Ma¬lazgirt Savaşı'ndan sonra, sırasıyla Mengücekoğulları'nın, Anadolu Selçukluları'nın ve İlhanlıların egemenliğine giren yöre, 1401'de Osmanlı topraklarına katıldı. Bir süre Timu'un ve Akkoyunlular'ın eline geçti.
1473'te kesin olarak Osmanlılara katıldı. 1916 yılında Rus işgaline uğrayan Çayırlı, Şubat 1918'de işgalden kurtuldu. Tercan ilçesine bağlı bir bucak durumunda iken 1954 yılında ilçe olmuştur.