Mesut Yılmaz 6 Kasım 1947'de İstanbul'da doğdu.
Ortaöğretimine Avusturya Lisesi'nde başlayan Mesut Yılmaz, İstanbul Erkek Lisesi'ni bitirdi. Mezun olduktan sonra Ankara Üniversitesi Siyasal Bilgiler Fakültesi'ne girdi.
1971 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat Bölümü'nden mezun oldu.
1972-74 seneleri arasında Almanya'nın Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesi'nde yüksek lisans çalışması yapan Yılmaz, 1975-1983 seneleri arasında kimya, tekstil ve ulaştırma sektörlerinde, çeşitli özel şirketlerde yönetici olarak görev aldı.
1983 yılının Mayıs ayında kurulan Anavatan Partisi'nde kurucu üye ve Genel Başkan yardımcısı olduktan sonra yapılan genel seçimde Rize milletvekili seçildi.
1. Turgut Özal Hükümeti'nde Bilgilendirmeden Sorumlu Devlet Bakanlığı'na atandı ve hükümet sözcülüğü yaptı.
1986 yılında Kültür ve Turizm Bakanı olan Yılmaz, bu dönemde Türkiye-Federal Almanya ve Türkiye-Yugoslavya ekonomi karma komisyonlarının başkanlıklarını yürüttü.
İkinci Özal hükümetinde Dışişleri Bakanlığı'na atanan Yılmaz, 1988 senesinden sonra Avrupa Demokrasi Birliği genel başkan yardımcılığı yaptı.
15 Haziran 1991'de Anavatan Partisi Genel Başkanlığına seçilen Mesut Yılmaz, 24 Aralık 1995 tarihinde yapılan genel seçimler sonrası Anavatan Partisi ile Doğru Yol Partisi tarafından kurulan hükümette başbakan olarak görev aldı.
18 Nisan 1999'da yapılan genel seçimlerde partisinin büyük oy kaybına rağmen DSP-MHP-ANAP koalisyonunda yer alarak Devlet Bakanı ve Başbakan Yardımcısı oldu.
3 Kasım 2002 tarihinde partisi baraj altında kalınca istifa etti.
2007'de bağımsız milletvekili olarak meclise girmeye hak kazandı.
2009'da Demokrat Parti'ye geçti. Namık Kemal Zeybek'in Genel Başkan seçilmesinden sonra istifa etti.
İyi seviyede İngilizce ve Almanca bilen Yılmaz, iki çocuk babasıdır.