Targan, Osmanlı Devleti'nin son Mekke emiri, Meclis-i A'yan ikinci reisi ve Evkaf nazırlarından Ali Haydar Paşa ile Sabiha Hanım'ın oğlu olarak 21 Ocak 1892'de İstanbul Çamlıca'da dünyaya geldi.
Arap dünyasında "Şerif Muhiddin Haydar" olarak da tanınan ve tam adı Fehametli Şerif Muhiddin bin Ali Haydar olan sanatçı, üniversite yıllarına kadar özel derslerle öğrenimini sürdürdü.
Evlerinde düzenlenen haftalık toplantılar sayesinde musikiyle tanışan Targan, çocukken piyano ve ud çalmaya başladı.
Targan, amcası Ali Cabir Paşa'nın önerisiyle 1906'da Mösyö Riki'den viyolonsel dersleri almaya başladı, sonrasında ise Klevder, Eringer Triyanon ve çeşitli eğitmenlerden solfej, armoni ve piyano öğrendi.
Irak'tan gelen resmi davetle Bağdat'a taşındı
Sanatçı, Ali Rifat Bey'den Türk musikisi klasiklerinden önemli fasıllar, Rauf Yekta Bey'den nazariyat, Zekaizade Hafız Ahmet Efendi'den ise makam ve usul dersleri aldı. Targan, 1908'de Darülfünun Hukuk Fakültesi ve sonrasında Edebiyat Fakültesinde eğitim gördü ve mezun oldu.
Mekke emirliğine tayin olan babasıyla 1916'da Hicaz'a giden sanatçı, bir süre Şam'da yaşadı.
Targan'ın ailesi, I. Dünya Savaşı'nın ardından Şerif Hüseyin'in Osmanlı Devleti'ne karşı Arabistan'da başlattığı isyana katılmadığı için maddi ve manevi büyük kayıp yaşadı.
Cumhuriyetin kurulmasının ardından sanat çevrelerinden yeterince ilgi görmeyen Targan, 1924'te gittiği Amerika'da 8 yıl kaldı. ABD'nin önemli konser salonlarında çok sayıda konser veren sanatçı, New York'ta geçirdiği bir ameliyat sonrası İstanbul'a döndü.
Şerif Mehmet Muhittin Targan, Irak hükümetinin davetiyle iki yıl sonra 1934'te Bağdat'a gitti. Sanatçı, Doğu ve Batı musikisi bölümlerinin yer aldığı Bağdat Konservatuvarını kurdu, ayrıca ud ve viyolonsel dersleri verdi. Daha sonra Güzel Sanatlar Akademisi haline getirilen okulda tiyatro ve heykel bölümlerini açtı.
Targan, Bağdat'ta yaşadığı yıllarda ünlü udilerden Cemil ve Münir Beşir kardeşler ile sanatçı Selman Şükür'ü de yetiştirdi.
Ünlü sanatçı Safiye Ayla ile 1950'de evlendi
Usta sanatçı, geçirdiği bir rahatsızlık nedeniyle 1948'de İstanbul'a döndü. Aynı yıl Hüseyin Sadettin Arel'in istifasıyla boşalan İstanbul Belediye Konservatuvarı ilmi kurul başkanlığına getirildi.
Sanatçı Safiye Ayla ile 1950'de evlenen Targan, sağlık sorunları dolayısıyla 1951'de konservatuvardaki görevinden istifa etti.
Kemani, viyolonselist ve piyanist Şerif Abdülmecit Targan'ın kardeşi olan sanatçı, Arapça, Farsça, İngilizce ve Fransızca dillerini biliyordu. Zarif ve mütevazı kişiliğiyle tanınan, çeşitli portre ve peyzaj eserlere imza atan sanatçı, 13 Eylül 1967'de İstanbul'da vefat etti. Sanatçının cenazesi Zincirlikuyu Mezarlığı'na defnedildi.
Vefatının ardından koleksiyonunda bulunan kitaplar, tablolar, Türk ve Batı musikisine ait notalar vasiyeti üzerine eşi Safiye Ayla tarafından Süleymaniye Kütüphanesi'ne bağışlandı.
Sanatçı, Türk musikisi eserlerini Batı'ya da dinletebilmek için çok sesli armoniden çok kontrpuana dayanan, aynı zamanda milli karakterini kaybetmeyen bir musikinin meydana getirilmesinin gerektiğini savundu.
Targan'ın bestelediği 25 eserin sadece üçü şarkı formundadır. Saz musikisine ait eserleri arasında yer alan "Kapris", "Koşan Çocuk", "Kanatlarım Olsaydı" ve "Teemmüller" adlı besteleriyle dügah, ferahfeza, hüzzam ve uşşak saz semaileri en tanınmışlarıdır. Sanatçı, hüzzam saz semaisi olan ilk eserini Mehmed Akif Ersoy'a ithaf etti. Eserin bir bölümünü 13 yaşında besteleyen sanatçı, diğer bölümünü ise 1924'te tamamladı.