1952 yılında Diyarbakır'ın Ergani ilçesinde dünyaya gelen Aziz Yıldırım, ilkokul ve lise eğitim öğretimini Düzce'de aldı. Eğitimine devam ettiği Düzce'de sportif olarak da bir kariyere başlayan Yıldırım, Hamidiyespor'da amatör futbol oynamıştır.
Üniversite eğitimine başlamak üzere Ankara'ya gelmiştir, Ankara Devlet Mühendislik ve Mimarlık Akademisinde (Gazi Üniversitesi Mühendislik Fakultesi) inşaat mühendisi olarak eğitimini tamamlamıştır. Eğitimini tamamladıktan sonra Maktaş Mühendsilik firmasını kuran Yıldırım, savunma sanayisinde altyapı ve üstyapı müteaahhitlik hizmetleri veriyordu.
Fenerbahçe Spor Kulübüne ilk olarak 1990 yılında başlayan Aziz Yıldırım, Metin Aşık'ın başkan olduğu zamanlarda yönetici olarak göreve başlamıştı. Fenerbahçe için ilk icraatı Tanju Çolak'ı Galatasaray'dan transfer ederek takımına kazandırmak oldu. Yıldırım, 1998 yılına kadar kulüp içerisindeki görevine yönetici pozisyonunda devam etti ardından 1998 yılında hedefi olan Fenerbahçe Kulubünün başkanlığına adaylığını koymuş, Vefa Küçük'ten 1 oy fazla alarak kulübün yeni başkanı olarak seçilmiştir.
15 Şubat 1998 yılından bu yana yapılan seçimlerle 12 kez Fenerbahçe Kulübü Başkanı seçilen Aziz Yıldırım, Kulübün tarihi boyunca ismini en uzun süre başkanlık yapan kişi olarak yazdırmıştır.