Abdülmecid'in, tam anlamı ile sevgi ve güvenini kazanmıştı. Saray haremindeki musikiye yetenekli cariyelerin hocalığına getirildi. Arif Bey gibi, yakışıklı bir bestekâr ve icracının cariyeler arasında nasıl bir merak ve heyecan konusu olduğu düşünülebilir. Fakat bu durum Arif Bey gibi, bekâr ve ince ruhlu bir insan üzerinde başdöndürücü bir fırtına oluşturdu. Bir anda bir aşk hikâyesi doğdu. Ders verdiği cariye Çeşmidilber, genç sanatkârın ruhunu altüst ediverdi.
Abdülmecid, Arif Bey'in bu sanatkâr zaafını pek hoş karşılamadı ama, doğan aşka saygı gösterdi ve Arif Bey'i, Çeşmidilber'le evlendirip saraydan uzaklaştırdı. Artık Arif Bey, aşkının cümbüşü içinde birbirinden güzel şarkılar besteliyor, Taşlık'taki konağında mutlu bir hayat yaşıyordu. "Kürdili Hicazkâr" makamını bu sırada bulmuştur. Büyük güzelliklerin ömrü kısa olur, bir gün Çeşmidilber, ?herhalde kendilerince bilinen bir sebep yüzünden ? Arif Bey'i bırakıp, kaçtı. Evlilikleri iki yıl kadar sürmüştü. Cemil ~|~ve Nebiye adlı iki çocukları vardı. Arif Bey, koca konakta çocukları ile başbaşa kalınca, "Niçin, terk eyleyip gittin, a zalim! " gibi, birkaç şarkı yazdıktan sonra sustu. Yaptığı hata, sanatçıyı kahrediyordu. Hem, Padişahın güvenini, hem mutluluğunu kaybetmişti.
Uzun bir sessizlikten sonra, "Sultanî Irak" makamından bestelediği bir şarkı ile Abdülmecid'e seslendi: "Bana lüft eyler iken sen Neden menfurun oldum ben." Padişah, yürek adamı idi. Arif Bey'i bağışladı ve yeniden Mabeyinci olarak Saraya aldı. Bununla da kalmadı, bu büyük sanatçıya güveninin ne ölçüde olduğunu anlatmak için, tekrar, haremde cariyelere ders vermesine müsaade etti. Gelgelelim, Arif Bey'in uslanmaz bir gönlü vardı. Bu sefer de Zülfinigâr cariyenin füsununa kapıldı. Fakat Abdülmecid'in hoşgörüsüne, sanata karşı duyduğu saygıya bakın ki, hiçbir açık öfke göstermeden, bu sefer de Zülfinigâr'ı Arif Bey'le evlendirdi ve her ikisini de Saraydan uzaklaştırdı. Arif Bey'in, Zülfinigâr'dan bir kızı oldu. Adına "Râbia" dediler. Fakat doğumdan kısa bir süre sonra Zülfinigâr öldü. Bahtsız sanatkâr, üç çocuğu ile bir başına kaldı.Tam bu sırada, Padişah Abdülmecit de hayata gözlerini yummuştu. Yerine gelen Padişah Abdülaziz de hem şair, hem bestekârdı. Arif Bey'i tekrar Saraya aldı ve cariyelerin meşk hocası yaptı. Fakat bu büyük besteci ve icracının zaafı bilindiğinden, Valide Sultan bu sefer kendisini maiyetindeki Nigârnik Hanım'la evlendirdi. Arif Bey'in bu hanımdan bir kızı olmuştur. Hayriye... Saraydan çıkardığı bu üçüncü eşi ile Arif Bey, Zincirlukuyu'daki çiftliğine çekilerek 5 yıl asude bir hayat yaşadı. Bu arada, Şura?yı Devlet kâtipliği, mal müdürlüğü yaptı. Ölümü de Mızıka?i Humayun'un bir odasında olmuştur. Ansızın yakalandığı bir kalp krizi sonunda oğlu Cemil Bey'in kolları arasında öldü (28 haziran 1885).