1927 yılında Harp Okulu öğrenimini tamamladı. 1930 yılında Harp Akademisi'ni bitirdi. Silahlı Kuvvetler'de çeşitli görevler almıştır. 1949yılında tuğgeneralliğe terfi etmiştir. Tuğgeneral rütbesi ile 3. Zırhlı Tugay Komutanlığı ve Genelkurmay Harekât Daire Başkanlığı yapmıştır. 1952 yılında tümgeneralliğe terfi etmiştir. Tümgeneral rütbesi ile Genelkurmay Harekât Daire Başkanlığı ve 33. Tümen Komutanlığı görevlerinde bulunmuştur. 1955 yılında Korgeneralliğe terfi etmiştir. Korgeneral rütbesi ile 9. Kolordu Komutanlığı, Genelkurmay Harekât Başkanlığı ve Genelkurmay II. Başkanlığı görevlerinde bulunduktan sonra 1958 yılında Orgeneralliğe terfi etmiştir. Orgeneral rütbesinde Genelkurmay II. Başkanlığı, Kara Kuvvetleri Komutanlığı görevlerini yürütmüştür. 2 Ağustos 1960 tarihinde Genelkurmay Başkanlığı görevine atanmıştır. 15 Mart 1966 tarihinde kendi isteği ile emekli olmuş ve aynı yıl kontenjan senatörü seçilmiştir.
Cemal Gürsel'in rahatsızlığı sebebiyle görevden ayrılması üzerine, 28 Mart 1966'da Türkiye Büyük Millet Meclisi tarafından Türkiye'nin beşinci Cumhurbaşkanı seçilmiştir. Beşinci Cumhurbaşkanı Cevdet Sunay, 28 Mart 1973 tarihine kadar devam eden Devlet Reisliği'nde zaman zaman sıkıntılı günler geçirmiştir. Sırasıyla Süleyman Demirel (1965-1971), Nihat Erim ve Ferid Melen'in hükümet kurdukları bu dönemde en uzun müddet hükümet başında kalan Süleyman Demirel'dir. Demirel bu dönem için Cevdet Sunay'ın ölümünden sonra: "Beş yıl, Cumhurbaşkanı Sunay ile rahat çalıştık. Birbirimizi anlıyorduk. Çankaya ile hükümet arasındaki bu uyum Türkiye'ye pek çok şey kazandırmıştır" demiştir.
Türkiye'de sol hareketin ivme kazanması, CHP'nin "Ortanın Solu" sloganı, Ecevit'in adının duyulmaya başlaması, öğrenciler arasındaki sağ-sol kavgası, Yassıda Mahkemesi'nde yargılanıp hapse mahkum olan ve Kayseri Kapalı Cezaevinde kalan başta Celâl Bayar olmak üzere Demokrat Parti milletvekillerinin affı ile siyasi haklar verilmesi mevzusunda o günlerin partileri arasındaki mücadele, 29 Nisan 1972 tarihinde, Suat Hayri Ürgüplü'nün başbakanlığa getirilip kurduğu hükümetin Sunay tarafından önce uygun görülüp sonra reddedilmesi, üniversitelerde zaman zaman arama yapılması, hatta bazen kapatılması, İsmet İnönü'nün irtica ve Nurculuk kelimelerini sık sık tekrarlaması, 1967 Kıbrıs olayları, ABD Başkanı Jonson'un mektubu, Yargıtay Başkanı İmran Öktem'in cenaze merasimindeki olaylar (1969) ve sonrasındaki gösteriler, Birinci Boğaz Köprüsü, İstanbul ve Ankara'da bazı resmî binaların bombalanması Genelkurmay Başkanı Cemal Tural'in Askeri Şûra'ya alınarak Orgeneral Memduh Tağmaç'in Genelkurmay Başkanı olması (12 Mart 1969), Millî Nizam Partisi'nin kurulması (26 Ocak 1970), İsrail Başkonsolosu'nun kaçırılması ve daha sonra öldürülmesi, üç İngiliz teknisyenin kaçırılıp öldürülmesi, Boğaziçi adlı yolcu uçağının Bulgaristan'a kaçırılması, Deniz Gezmiş ve iki arkadaşının idâmı, İsmet İnönü'nün önce CHP liderliğinden daha sonra CHP'den ve milletvekilliğinden istifası, birinci ve ikinci Nihad Erim hükümetleri (1971-1972), sonra Ferid Melen'in başbakanlığı ve benzeri olaylar ve 12 Mart Muhtırası Cevdet Sunay'ın Cumhurbaşkanlığı döneminde cereyan etmiştir. 7 yıllık görev süresini tamamladıktan sonra 28 Mart 1973 tarihinde cumhurbaşkanlığından ayrıldı.
Cevdet Sunay 22 Mayıs 1982 tarihinde vefat etti.