Asıl adı Ahmet Zeki olan Togan, 10 Aralık 1890 tarihinde Başkurdistan'ın İsterlitamak'a bağlı Küzen köyünde doğmuştur. Rusya’da iken Validov soyadını kullanan Zeki Velidi, Togan soyadını Türkiye’ye gelince almıştır. İlk öğrenimini doğduğu köyde alan Togan, öğretmen olan annesinden Farsça eğitimi almıştır. Daha sonra orta tahsil için Ütek'te bulunan dayısı Habib Neccar'ın medresesine gitmiş ve burada da Arapça dersleri alarak dil bilgisini geliştirmiştir. 1908 senesinde özel ders alabilmek için Kazan'a gelen Togan, bu dönemde Katanov ile Aşmarin gibi önemli bilginlerle tanışmıştır. 1909 yılında da mezun olduğu Kasımiye Medresesi'ne öğretmen olarak tayin edilmiştir.
Zeki Velidi, 1913 yılında araştırmalar yapmak için Fergana'ya gönderilmiştir. Burada Yusuf Has Hacip'in 11. yüzyıla ait Kutadgu Bilig adlı eserinin bir el yazması nüshasını bulmuştur. Bu seyahatin neticeleri olan hazırlamış olduğu raporlar, Petersburg Arkeoloji Cemiyeti'nin yanı sıra Kazan ve Taşkent Arkeoloji cemiyetleri mecmualarında da yayımlanmıştır.
Rusya’da Bolşevik İhtilali’nin patlak vermesi üzerine Türklerin bağımsızlığı için mücadeleye girişen Togan, 29 Kasım 1917 tarihinde özerk Başkurdistan ilinin muhtarı ilan edilmiştir. 18 Şubat 1918 tarihinde bölgeyi işgal eden Bolşevik askerleri tarafından tutuklanmış ancak bir süre sonra hapisten kaçarak firar etmiştir. Kısa süre sonra yeni kurulan Başkurt Hükumetinde Harbiye Nazırı olarak görev yapmıştır. Bu dönemde Lenin, Stalin ve Troçki gibi kanlı Rus Devrimi'nin önde gelen simalarıyla pek çok kez görüşmüştür. Fakat bu görüşmelerinden herhangi bir sonuç alamayan Togan, Türkistan'a dönerek faaliyetlerine burada devam etmiştir.
Türkistan Milli Özerk Hükumeti'nin yıkılmasından sonra başlayan ve bilhassa Rusların Basmacı olarak andığı Korbaşı Hareketi'nin içinde bulunan Togan, 1920-1923 yılları arasında amansız bir mücadeleye girişmişse de başarılı olamamıştır. Bu nedenle Türkistan’daki mücadele sona ermek üzereyken 21 Şubat 1923’te İran’a geçmiştir. Meşhed’deki kitaplıkta önemli bir keşfe daha imza atarak o zamana kadar metni bilinmeyen İbn Fadlân’ın eserini bulmuştur.
Togan'ın Türkiye'ye gelmesi ise 20 Mayıs 1925 tarihinde Yusuf Akçura ve Fuad Köprülü gibi önemli isimlerden davetler alması üzerine olmuştur. Türkiye Cumhuriyeti vatandaşı olduktan sonra ilk olarak Maarif Vekaleti Telif ve Tercüme Encümeni'nde göreve başlamıştır. Ancak Ankara'nın kitap açısından yetersiz olması yüzünden kendi isteği ile İstanbul Darülfünunu Türk Tarihi Müderris Muavinliği'ne geçmiştir.
Büyük bağımsızlık savaşçısı ve tarihçi Togan'ın hayatındaki önemli dönüm noktalarından biri işte bu yıllarda, I. Türk Tarih Kongresi'nde bir tıp doktoru olan Reşit Galip tarafından sunulan Türkistan'da bir iç deniz olduğu ve bunun sonradan kuruduğu konusu hakkındaki tezi eleştirmesi ile cereyan etmiştir. Kongrenin hemen ardından Togan aleyhinde öfkeli bir kamuoyu oluşmuştur. Kendisine karşı takınılan bu kötü tutum ve baskı üzerine Togan da ülkeyi terk etme kararı almıştır.
8 Temmuz 1932 tarihinde Viyana'ya giden Zeki Velidi, çalışmalarını burada sürdürmüştür. 1935 yılında felsefe doktoru ünvanı almış ve Avrupa yıllarında Viyana Üniversitesi, Bonn Üniversitesi ve Göttingen Üniversitesi gibi çeşitli okullarda dersler vermiştir.
Uzun bir aradan sonra 1939 yılında Togan, Milli Eğitim Bakanı'nın daveti üzerine yeniden Türkiye'ye dönerek İstanbul Üniversitesi'nde Umumi Türk Tarihi Kürsüsü'nü kurmuştur. Togan, tıpkı Rus işgali altındaki topraklarda olduğu gibi Türk olmanın bedelini Türkiye'de de ödemeye devam ederek Mayıs 1944’te Türkçülük-Turancılık davasından tutuklanmış ve mahkemeye verilmiştir. Dava kapsamında 10 yıl hapse mahkum edilmişse de askeri mahkemenin bu kararı bozmasıyla Türk milliyetçisi olduğu için yargılandığı Türk hukuk tarihine kara bir leke olarak geçen davadan beraat etmiştir. 1948 yılında üniversiteye dönen Zeki Velidi, buradaki görevine ölümüne kadar devam etmiştir.
Başkurdistan başta olmak üzere esir Türk yurtları için verdiği amansız mücadelenin yanı sıra Türk akademisine hem ortaya koyduğu eserler hem de yetiştirdiği öğrencilerle tarifsiz bir katkı sunan Togan, 26 Temmuz 1970 tarihinde İstanbul'da hayata veda etmiştir.
Zeki Velidi Togan'ın başlıca eserleri şunlardır:
Bugünkü Türkistan ve Yakın Mazisi
Türkistan Tarihi
Biruni’nin Dünya Hakkında Tasavvuru
Umumî Türk Tarihine Giriş
Harezm Kültürü Vesikaları
Tuyuhunlar ve Başkurtlar
Oğuz Destanı Reşideddin Oğuznâmesi, Tercüme ve Tahlili
Tarihte Usul