İstanbul’un Kandilli semtinde dünyaya gelen Ali Sami, öğrenim gördüğü Galatasaray Lisesi’ndeki edebiyat dersinde, sınıf arkadaşlarıyla birlikte bir futbol kulübü oluşturmaya karar verdi. 1905 yılının Ekim ayında kurulan Galatasaray Spor Kulübü’nün bir numaralı kurucu üyesi oldu. 1906’da Galatasaray Lisesi’nden mezun oldu. 1910 yılında kurdu Tükiyenin ilk spor müzesi olan Galatasaray Müzesi’ni kurdu. 1924 Yaz Olimpiyatları’na katılan Türk kafilesinin başkanlığını yaptı. Galatasaray’da 1905-1918 arasında 13 yıl, 1925’te 1 yıl olmak üzere iki dönemde 14 yıl başkan olarak hizmet verdi.
Milli Takımın Romanya ile yaptığı ilk maçta, ilk teknik adam olarak takımın başında o vardı. Galatasaray Spor Kulübü’nün kurucusu Ali Sami Yen’in adı, takımın stadına verilmiştir. Ayrıca 2007 Aralık ayında inşasına başlanan ve içinde stad, spor salonu ve AVM olan komplekse de Ali Sami Yen Spor Kompleksi ismi verilmiştir. Ali Sami Yen 1951 yılında vefat etti ve Feriköy Mezarlığı’nda toprağa verildi.