Tokat'ta doğdu. Asıl adı Osman Nuri'dir. Babası, İstanbul kereste gümrüğünde kâtip olan Mehmed Efendi, annesi Şâkire Hatun'dur. Ailenin tek erkek çocuğu olan Osman Nuri, henüz yedi sekiz yaşlarında iken ailesiyle birlikte İstanbul'a babasının yanına gitti. Sırasıyla Askeri Rüşdiyesi'ne, Askeri idâdi ve Mekteb-i Harbiye okullarını bitirdi. Çeşitli görevlerde bulunan Gazi Osman Paşa, 1859 'da Osmanlı ülkesinin nüfus sayımı ile kadastro usulünde haritasının çizilmesinin kararlaştırılması ve bu arada Bursa ilinden başlanmasına hükümetçe karar verilmesi üzerine bu hizmete askeri temsilci olarak tayin edildi. 1866'da Girit'te baş gösteren Rum isyanı dolayısıyla buraya yollandı.
Bir çok askeri başarı elde etmiş olan Gazi Osman Paşa, asıl şöhretini Sırp Prensi Milan'ın 2 Temmuz 1876 da Osmanlı Devleti'ne savaş ilan etmesi esnasında Rus generallerinin kumanda ettiği Sırp ordusunu bozguna uğratması ile elde etti. 1877-1878 Osmanlı-Rus savaşlarında Plevne'yi başarı ile savundu ve bu savaş sonunda kendisine 'gazilik' ünvanı verildi. Askeri şahsiyeti yanında siyasi faaliyetlerde de bulundu. İstanbul'daki dini grupların birleşmesini sağladı. Sarayda bulunduğu süre içiresinde dış politika konularında Sultan İkinci Abdülhamid'i etkilemeye çalıştı. Gazi Osman Paşa, 4-5 Nisan 1900 yılında, Cuma günü vefat etti ve Fatih Sultan Mehmet Türbesi yanına gömüldü.
Osman Paşa iyi derecede Arapça, biraz da Farsça ve Fransızca biliyordu. Ferik Neşet Paşa'nın kız kardeşi Zâtıgül Hanım'la evlendi. Sultan II. Abdülhamid kendisini çok takdir ettiği için iki kızını Osman Paşa'nın iki oğluyla evlendirmiştir.