1 Nisan 1967 tarihinde Bingöl'de doğdu. Lise öğrenimini Bingöl'de tamamladıktan sonra 1983 yılında ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'ne girerek bu bölümden 1988 yılında birincilikle mezun oldu. 1989 yılında Devlet Planlama Teşkilatı'da çalışmaya başladı.
1992- 1994 yılları arasında ABD'ye giderek Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde yüksek lisans eğitimini tamamladı. 1995-2003 yıllarında DPT'deki görevine Planlama Uzmanı olarak devam ederken Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi bölümünde doktora eğitimi aldı. 2003 yılında doktora tezi kabul edildi. Aynı yıl, teşkilatın AB İlişkiler Genel Müdürlüğü görevine getirildi. Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde bulundu. 23.Dönem'de Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu. Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve iki çocuk babasıdır.