Şevki Yılmaz, 1955 yılında İzmit'de doğdu. İmam Hatip Lisesi'nde öğrenim gördü. Derince Lisesi`ni de dışardan bitirdi. 1974'te de MSP-CHP koalisyonunda, Adalet Bakanlığı'nda özel kalem müdürü olarak çalıştı. 1980 senesinde de İstanbul Yüksek İslam Enstitüsü'nden mezun oldu. Daha sonra Kartal Müftülüğü'nde memurluğa başladı. 1982'de de Avrupa Milli Görüş Teşkilatları'nda Avusturya bölge başkanlığı görevine getirildi. 1984 yılında da teşkilatın tanıtmadan sorumlu genel başkan yardımcısı oldu. 1995 Türkiye genel seçimlerinde de Refah Partisi`nden (RP) Rize milletvekili olarak Türkiye Büyük Millet Meclisi'ne girdi. 28 Şubat 1997 süreci sonrasında da RP'den istifa etti. Bu dönemde Necmettin Erbakan, Şevket Kazan, Ahmet Tekdal, İbrahim Halil Çelik, Hasan Hüseyin Ceylan, Şükrü Karatepe, Bekir Yıldız, Zeki Başaran, Selahaddin Aydar, Hasan Celal Güzel ile Recep Tayyip Erdoğan'la birlikte siyasi yasaklılar arasında yer aldı ve bu süreçte Avrupa'ya giderek çalışmalarını burada sürdürdü. 19 Eylül 2004 tarihinde de yurda geri döndü.