İlk eğitimin Midilli'de aldı ve çok iyi Fransızca öğrendi. Genç yaşında, başlangıçta sürgün olarak Midilli'de bulunan Namık Kemal ile tanışmış ve onun hayatı boyunca olanakları dahilinde koruması ve desteğini almıştır.
Osmanlı idaresinde devlet görevine sekreter olarak başladı ve yavaş yavaş yükseldi. 1897'de Adana'ya, 1902'de de Yemen'e vali oldu. Aynı yıl, 1902'de Balkanlarda Osmanlı Devleti adına gözlemlerde bulunmak üzere Makedonya Müfettiş-i Umumiliği görevine atandı. Selanik, Manastır ve Kosova vilayetlerinin oluşturduğu Vilâyet-î Selâse'ye umum müfettişi olarak atandı. Bu görevde kendisinden beklenen bölgede yapılması öngörülen ıslahatları gerçekleştirmekti.
1908'de Osmanlı Anayasası'nın yeniden yürürlüğe girmesinden sonra Osmanlı Devleti'nin Dahiliye Nazırı (İçişleri Bakanı) oldu. II. Abdülhamit saltanatında, 31 Mart Ayaklanması döneminde 14 Şubat 1909 - 13 Nisan 1909 tarihleri arasında ve V. Mehmet Reşat saltanatında 5 Mayıs 1909 - 28 Aralık 1909 tarihleri arasında toplam on ay altı gün sadrazamlık yapmıştır.
Son görevi, 1912'de atandığı Viyana Büyükelçiliği olmuştur. Osmanlı Devleti'nin son Viyana Büyükelçisi olarak yedi yıl görev yaptıktan sonra sağlık sorunları nedeniyle görevi bırakan Hilmi Paşa, Viyana'da yaşamayı sürdürmüş ve aynı kentte 1922'de hayatını kaybetmiştir. Cenazesi İstanbul'a getirilmiş ve Beşiktaş'taki Yahya Efendi Dergâhı'nda toprağa verilmiştir.
Bestekâr Nazife Güran'ın dedesidir.