Şehir ve çevresinin tarih öncesi ve tarih çağlan yeterince araştırılmamıştır. Bölgenin ilk defa Hititler zamanında tarihi çağlara geçtiği, Hitit metinlerinde "Azzi Hayaşa" Ülkesi olarak adlandırıdığı ve buralarda kaşga'ların yaşadığı belirtilmektedir. Ancak bunu doğrulamayan kaynaklar da vardır. Hititleri izleyen dönem bilinememektedir. Bölge daha sonra kısa bir süre Kimmer ve İskitlerin (Saka) saldırılarına maruz kalmıştır. Bölge uzun süre Pontuslulann egemenliğinde kaldı (M.Ö. 298-63). Bizans döneminde diğer şehirler gibi imparator Hustnianus zamanında şehir imar edilmiş ve kalesi onarılmıştır. Şehrin adı Karahisar anlamına gelen Mavrokastron olarak söyleniyordu. Şehir ve çevresinde pauilican mezhebi yayılmış daha sonra önemli bir piskoposluk merkezi olmuştur.
Şehrin emevi ordularınca Yezid bin Usayd al-Sulâm'i tarafından 778 yılında kısa bir süre ele geçirildiği, çevresindeki köylerin ise Abbasi döneminde 939/940 yıllan arasında ele geçirildiği bilinmektedir. 1074 yılından sonra Şebinkarahisar1 m Mengücek Gazi ile Danişment Gazi tarafından ortaklaşa fethedildiği sanılmaktadır. 1228 yılında Şehir Anadolu Selçuklu Devletine bağlandı. Bu Devletin yıkılmasından sonra Şebinkarahisar sırasıyla İlhanlıların, Eratna Devletinin, Kadı Burhanettin1 in, Karakoyunlu ve Akkoyunlu devletinin idaresine girdi. Akkoyunlu hükümdarı Uzun Hasan' in 1473 Otlukbeli savaşında Fatih Sultan Mehmet' e yenilmesinden sonra Osmanlı Devletinin idaresine girdi. Şehir Osmanlı döneminde Karahisar-ı Şarki adıyla Sancak Merkezi olmuş, şehzadeler şehri haline gelmiştir.