Çocukluğu ve gençliği, 1759’da Fauquier ili (Virginia) olarak düzenlenen sınırboyu bölgesinde geçti. Eğitimini büyük ölçüde anne babasından ve yaklaşık bir yıl ailenin yanında kalan konuk bir rahipten aldı. Birkaç ay Westmoreland ilindeki bir akademiye devam etti. Amerikan Bağımsızlık Savaşı’nda İngiltere’ye karşı savaştı (1775- 81).
Marshall hukukçuluğa askerliği sırasında başlamış, avukatlık iznini de 1780’de almıştı. 1782 ve 1784’te Virginia Temsilciler Meclisi’ne seçildi. Ocak 1783’te Mary Ambler’la evlendi. Sonraki 15 yıl boyunca Virginia barosunda gitgide daha etkin bir yer edindi. 1787′ de henüz Philadelphia ‘daki Anayasa Kurultayı’na temsilci olarak gitmesini sağlayacak bir konuma ulaşamamıştı. Ama anayasanın onayı için gizlice yürütülen mücadelede anayasayı kararlılıkla savundu. Eyalet meclisine seçildikten sonra Anayasa Kurultayı’na temsilci olarak gönderildi. Daha sonra da Virginia’nın Anayasa’yı kabulünde önemli rol oynadı.
Düzenlenen anayasaya göre yeni hükümetin kurulmasıyla birlikte Başkan George Washington, Marshall’a ABD’nin Virginia savcılığını önerdiyse de Marshall teklifi kabul etmedi. Ama 1789’da ulusal hükümetin destekçisi olarak Virginia Temsilciler Meclisi’ne yeniden seçildi. ABD’deki ilk siyasal partilerin çizgilerinin belirginleştiği 1790’larda Marshall Virginia’da Federalist Parti’nin önderleri arasında kendini gösterdi. 1795’te Başkan Washington, Marshall’a ABD başsavcılığını önerdi. Marshall bunu da reddetti ve Federalist önderlerden biri olarak eyalet meclisine döndü.
Başkan John Adams, Marshall’ı Elbridge Gerry ve Charles C. Pinckney ile birlikte Fransa’da ilişkileri geliştirmek üzere çalışacak bir komisyonda görevlendirdi: Bu Marshall’ın federal düzeydeki ilk göreviydi. Komisyon başarılı olamadı. O sırada bazı karanlık kişilerin komisyon üyelerine, büyük miktarda rüşvet verilmedikçe, Fransız hükümetince kabul edilmeyeceklerini bildirdiklerini açıklayan raporlar yayımlandı. Raporlar ayrıca Marshall’ın bu girişimleri geri çevirdiğini de ortaya koyuyordu. Böylece Marshall’ın ünü daha da arttı.ABD’de, İç Savaş sonrasında Memphis’te beyazların Siyahlara karşı giriştiği saldırı
Fransa’dan döndükten sonra yargıç James Wilson’ın yerine Yüksek Mahkeme’ye atanmasına ilişkin öneriyi geri çevirdi. 1799’da Federalist Parti’den Richmond üyesi olarak Temsilciler Meclisi’ne seçildi. Marshall’ın meclisteki en önemli başarısı, açık denizde bir Britanya savaş gemisinde cinayet işlemekle suçlanan bir denizcinin, suçluların iadesi antlaşması uyarınca teslim edilmesi nedeniyle, Başkan Adams’ı Britanya’nın isteğine uymakla suçlayan Cumhuriyetçilerin saldırısına karşı başkanı etkin biçimde savunmak oldu. Adams, Mayıs 1800’de savaş bakanının görevden çekilmesini istedi ve görevi Marshall’a önerdi. Marshall bunu kabul etmedi. Daha sonra dışişleri bakanını da görevden uzaklaştıran Adams bu bakanlığı da Marshall’a önerdi. Marshall kısa bir tereddüt döneminden sonra, iç bölünmeyle ve yaklaşan seçimlere ilişkin sorunlarla yıpranmış yönetimde görev almayı kabul etti. Başkanın dinlenmek için birkaç ay Massachusetts’teki evine çekilmesi üzerine hükümetin fiili başkanı durumuna geldi. Başkan Adams’ın önerisi üzerine Ocak 1801’de Senato John Marshall’ın başyargıç olarak atanmasını onayladı. Marshall, gene başkanın isteği üzerine Adams yönetiminin son ayı boyunca da dişişleri bakanlığını sürdürdü.
Yönetimin temel yapısını belirleme işi Marshall’a ve onun yönetimindeki Yüksek Mahkeme’ye düşüyordu. Marshall’ın zihninde, açık ve iyi tanımlanmış, etkin bir yönetim kavramı vardı. Anayasanın böyle bir yönetime izin verdiğini ve ülkenin böyle bir yönetime gereksinim duyduğunu düşünüyordu. Kararlarını açık, ikna edici ve sağlam bir dille yazdı. Otuz beş yıllık yargıçlık yaşamı sırasında bütünsel bir anayasa öğretisi geliştirdi. Yüksek Mahkeme’ de her yargıcın önemli davalarda kendi değerlendirmesini açıklaması uygulaması, Marshall’ın atanmasından sonra değişti. Birkaç yıl boyunca Yüksek Mahkeme’nin tek bir ortak yorum bildirmesi genel kural oldu. Yargı yorumlarının Marshall’ın berrak ve inandırıcı anlatımıyla kaleme alınması da Yüksek Mahkeme’nin konumunun güçlenmesine önemli katkıda bulundu. Otuz yılı aşkın başyargıçlığı süresince bini aşkın davaya katıldı, 519’unun kararını kendisi kaleme aldı. Life of George Washington (George Washington’ın Yaşamı) adlı beş ciltlik yapıtı 1804-07 arasında yayımlanmıştır.