Ali Rıza Bey, Mecidiye Kruvazörü Süvarisi Mehmet Bey'in oğlu olan Ali Rıza Bey 1881 yılında İstanbul'da dünyaya geldi. Babası kaptan olduğu için "Kaptanzade" olarak anılmıştır.
Tahsilini İstanbul'da yaptı. İstanbul Gümrük Müdürlüğü'nde memur olarak çalıştı. Daha sonra ayrılarak serbest hayatta gümrük komisyonculuğu yaptı.
8 Haziran 1923 yılında Cabir Vada'nın kızı Hikmet Hanım'la evlendi ve bu evlilikten çocukları olmadı.
Bestekârlığının yanında iyi bir aktör ve operet olan Ali Rıza Bey, bestelediği "Macun okkası" ve "İstanbul efendisi" operetlerinde kendisi de rol aldı ve başarılı oldu. Ayrıca çok güzel "Karagöz ve Hacivat" orta oyunlarını oynatırdı.
1905 yılında kanun çalmasını öğrenerek musikiye başladı. Yüze yakın beste yaptı fakat kendini hep zirvede tutan fantezi şarkıları oldu. İlk eserini Nihavent makamında "Issız gecede ben hicranı düşündüm" aksak şarkıyı besteleyerek başladı.
Şarkıları arasında Nihavent fantezi şarkısı "Yıldızların Altında" şarkısı günümüze kadar tazeliğini korumakta olup dans müziği olarak ta devamlı icra edilmektedir. Hatta günümüzün Türk Hafif Müziği sanatçılarının sık kullandığı şarkıdır.
Bu şarkı Hicaz makamının en güzel şarkılarından biri olarak kabul edilir. Bir başka sanat değeri olan şarkısı "Her tel saçı bir ter dudağın değdiği yerdir" Kürdilihicazkar bestesinin sözleri de kendine aitti.
Tayyareci Fethi ve Fazıl Bey için Filorinalı Nazım Bey'in güftesini hazırladığı "Telli turna gibi uçtun" isimli şiiri marş olarak besteledi. Bir başka Nihavent eseri "Akşamı süzme deniz" sözleriyle başlamaktadır.