Ali İlmi Fani 1878 senesinde Kadirli'de dünyaya geldi. Maraş Rüştiye Mektebi'nde eğitim gördü. Adana İdadi Mektebi'nden mezun oldu. Babası Hoca Abdülbaki Fani'den Arapça ve Farsça dersleri aldı. Sonrasında Adana'da Resmi Gazete yazarlığı ile Matbaa Müdürlüğü yaptı. Aynı zamanda Cebel-i Bereket Tahrirat Müdürlüğü, Adana Mektubi Kalemi şefliği gibi vazifelerde bulundu. Bir süre Adana Lisesi'nde öğretmenlik yaptıktan sonra II. Meşrutiyet'in ilanıyla Osmanlı Mebusan Meclisi'nde Kozan milletvekili oldu.
Ferda gazetesinde Milli Mücadele'ye karşı yazılar yazdı. 1922 yılında Fransızlar'la yapılan anlaşmadan sonra Mustafa Kemal Atatürk lehine yazılar yazdı fakat sürgün cezasından kurtulamadı. 1938 senesinde ilan edilen genel afla yurda geri döndü.
Ali İlmi Fani 1964 senesinde İstanbul'da yaşamını yitirdi.