Birinci Dünya Savaşı Başladığı dönemde İstanbul Kartal'da 14. Fırka komutanlığında görev yapmaktaydı. Bir süre sonra Çanakkale'ye gönderildi. Kerevizdere'de Fransızlar'a karşı üç ay savaştıktan sonra miralaylığa (albay) yükseldi. Buradan, İstanbul'da I. Ordu erkân-ı harbiye başkanlığına, sonra Galiçya'ya gidecek ordunun ve ardından Mareşal Von der Goltz'un erkân-ı harbiye başkanlığına atanarak Irak'a gitti. 1916'da Kutü'l-Amare'yi kuşatan 18. Kolordu komutanlığına getirildi ve burayı aldıktan sonra Irak'ta İngilizler'le çarpıştı. 1917'de Diyarbakır'daki 2. Kolordu komutanlığına getirildi ve Van, Bitlis, Elaziz (Elazığ) cephelerindeki II. Ordu komutanlığına vekâlet etti. 1918'de Erzincan ve Erzurum'u Ermeniler'den ve Ruslar'dan geri aldı. Ardından Sarıkamış, Kars ve Gümrü kalelerini ve Karakilise'yi (Karaköse) kurtardı. Aynı yıl mirliva (tümgeneral) oldu. Mondros Mütarekesi sırasında sadrazam olan Ahmed İzzet Paşa'nın erkân-ı harbiye-i umumiye reisliği (genelkurmay başkanlığı) önerisini kabul etmeyerek Anadolu'da görev almak istedi.
İstiklal Savaşı'nı başlatan komutanların arasında ilk Anadolu'ya geçen oldu.Atatürke, bizzat kendisine gönderilen ve "Mustafa Kemal Paşa'yı tutuklaması"nı emreden telgrafa rağmen Ben ve kolordum emrinizdedir (Erzurum Kongresi öncesi) Paşam! diyerek, destek ve moral verdi.Milli mücadele döneminde 15. Kolordu komutanlığı yaptı.TBMM Murahhası sıfatıyla Gümrü Antlaşması'nı imzaladıktan sonra, Kars Konferansı'na Türkiye Baş Murrahası olarak katıldı.Edirne Milletvekili sıfatı ile meclis çalışmalarına devam etti.Türkiye'de ilk defa toplanan İzmir İktisat Kongresine başkanlık yaptı.TBMM'nin İkinci Devresi'nde İstanbul Milletvekili seçildi.1924'te CHP'den istifa ederek 17 Kasım1924'te Terakkiperver Cumhuriyet Fırkası kurucuları arasında yer aldı ve bir süre sonra da bu partinin genel başkanı oldu. Parti 3 Haziran 1925'te Şeyh Sait ayaklanması nedeniyle kapatıldı. Karabekir Mustafa Kemal Paşa'ya karşı yapılan İzmir suikasti ile ilgili görülerek bazı partililerle birlikte yargılandıysa da beraat etti.Siyasi yaşamına on iki yıllık aradan sonra, 6 Ocak 1939'da İstanbul milletvekili olarak devam etti. İstiklal Harbimiz adlı eserinde Kurtuluş Savaşını anlattı.1946'da TBMM başkanlığına seçildi ve bu görevde iken öldü (26 Ocak 1948).