Mesut Yılmaz 6 Kasım 1947 tarihinde İstanbul'da dünyaya geldi.
Ortaöğretimine Avusturya Lisesi'nde başlayan Yılmaz, İstanbul Erkek Lisesi'ni bitirdi.
İstanbul Erkek Lisesi'nden mezun olduktan sonra Ankara Üniversitesi Siyasal Bilgiler Fakültesi'ne girdi.
1971 senesinde Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat Bölümü'nden mezun oldu.
1972-74 yılları arasında Almanya'nın Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesi'nde yüksek lisans çalışması yapan Yılmaz, 1975-1983 yılları arasında kimya, tekstil ve ulaştırma sektörlerinde, çeşitli özel şirketlerde yönetici olarak görev aldı.
1983 senesinin Mayıs ayında kurulan Anavatan Partisi'nde kurucu üye ve Genel Başkan yardımcısı olduktan sonra apılan genel seçimde Rize milletvekili seçildi.
1. Turgut Özal Hükümeti'nde Bilgilendirmeden Sorumlu Devlet Bakanlığı'na atandı ve hükümet sözcülüğü yaptı.
1986 senesinde Kültür ve Turizm Bakanı olan Yılmaz, bu dönemde Türkiye-Federal Almanya ve Türkiye-Yugoslavyaekonomi karma komisyonlarının başkanlıklarını yürüttü.
İkinci Özal hükümetinde Dışişleri Bakanlığı'na atanan Yılmaz, 1988 yılından sonra Avrupa Demokrasi Birliği genel başkan yardımcılığı yaptı.
15 Haziran 1991 tarihinde Anavatan Partisi Genel Başkanlığına seçilen Mesut Yılmaz, 24 Aralık 1995'te yapılan genel seçimler sonrası Anavatan Partisi ile Doğru Yol Partisi tarafından kurulan hükümette başbakan olarak görev aldı.
18 Nisan 1999 tarihinde yapılan genel seçimlerde partisinin büyük oy kaybına rağmen DSP-MHP-ANAP koalisyonunda yer alarak Devlet Bakanı ve Başbakan Yardımcısı oldu.
3 Kasım 2002'de partisi baraj altında kalınca istifa etti.
2007 senesinde bağımsız milletvekili olarak meclise girmeye hak kazandı.
2009 senesinde de Demokrat Parti'ye geçti. Namık Kemal Zeybek'in Genel Başkan seçilmesinin ardından istifa etti.
İyi seviyede İngilizce ve Almanca bilen Mesut Yılmaz, iki çocuk babasıdır.