Rüştiye ve Darülmaarif eğitimleri yanında özel öğretmenlerden arapça ve fransızca eğitimi almıştır. Kamu görevlerine 17 yaşında Bab-ı Ali'de Katip Muavini olarak başladı. Çok geçmeden titiz çalışması ve düzgün yazısıyla esas kadroya alınmış, kısa sürede başkatipliğe kadar terfi ettirilmiştır.[2]
Mehmed Emin Âli Paşa ile birlikte 1867 yılında Girit’te görevlendirildi.[2] 1866 yılında başlayan Girit’teki isyanın yatıştırılmasında Mehmed Emin Ali Paşa’nın gayrımüslim nüfus ile müslüman nüfus ayrıcalıklarını dengelemek konusundaki ustalıklı dislomasisi etkili olurken[3] Mahmud Celaleddin de çalışkanlığı ve titiz çalışmasıyla dikkati çekmiş, Mühürdarlıka getirilmiştir.[2] 1887 yılında Maliye Nazırı oldu. 1889 yılında Girit Valiliğine getirildi. 1891 yılında Ticaret ve Nafia Nazırlığı yaptı. 1897 yılında Halil Rıfat Paşa hükümetinde tekrar Nafia Nazırı oldu ve 1899 yılında ölene kadar bu görevde kaldı.
Mahmud Celaleddin Paşa siyasetteki rolünün yanı sıra Klasik Türk Müziğine büyük katkılarda bulunmuştur. 25 kadar şarkısı günümüze ulaşmıştır. Müzik konusunda zamanın sanatçılarından Tanburi Cemil Bey, Kemençeci Vasilaki ve Lemi Atlı ile birlikte çalıştı. Sesinin güzelliği ile tanınırdı.