Horasan’dan Anadolu’ya göç eden bir ailenin çocuğu olan Rahmi Erdem 1938 senesinde Konya’nın Bozkır ilçesinde doğdu. İlk ve ortaokulu burada tamamladı. Adana Ziraat Meslek Lisesi’nde öğrenim gördü. 1958'de de ziraat teknisyeni olarak okuldan mezun oldu. 1960'da da Bitlis Teknik Ziraat Müdürlüğü'ne atandı. Daha sonra İstanbul'a gelerek Yeni Asya gazetesinde genel yayın müdürü olarak çalışmaya başladı. 1975'de de gazeteden ayrılarak çeşitli ticari faaliyetlerde bulundu. Öte yandan 1990 yılından itibaren de üniversite öğrencilerinin eğitimlerine destek vermek amacıyla kurulan bir vakıfta görev yapmaktadır.