İlk öğrenimini Babadağ, İzmir ve İstanbul'da tamamladı. 1949 yılında babasının iflasından sonra 1950 yılında askere gitti. Askerliğini bitirdikten sonra İstanbul'un Haydar semtinde Mahalle Başkanlığı'na başladı.Bu arada 4 Nisan 1953'de şimdiki eşi Özcan Yılmaz ile evlendi. Daha sonra hayatını Haydar semtinde bakkal-kasap olarak sürdürdü.
Bu işlerden edindiği birikimlerle de 1963 yılında ufak çaplı inşaat işleri ile müteahhitliğe başladı.
1973 yılında İstanbul-Aksaray'da sinema salonu yaptı. O yıllarda televizyonlar yeni çıktığından sinemalar özelliğini yitirmeye başladı. Bu sinemanın altını otopark, üstünü de düğün salonuna çevirdi. Bu düğün salonu "19 Mayıs Düğün Salonu" adı altında kendisi tarafından çalıştırıldı.
Datça'yı çok sevdiği için1995 yılında Kazım Yılmaz İlköğretim Okulu'nu yaparken 7. Cumhurbaşkanı Kenan Evren ile tanıştı. Evren Paşa'nın "Kendi okulunu kendin yap" sloganı ile okul yapımlarına başladı.
Datça'ya okullar yaptıran Kazım YILMAZ, TBMM Üstün Hizmet Ödülü'ne layık görüldü. Onun en büyük emeli yurt çapında cehaleti ve rüşveti silmektir. Datça'nın 'Okul Dede' unvanlı hayırsever işadamı Kazım Yılmaz 06 Ağustos 2014 tarihinde son yolculuğuna uğurlandı. Kazım Yılmaz'ın cenazesi vasiyeti üzerine Datça Şehir Mezarlığı'nda toprağa verildi.