1874 yılında Mora Yenişehir’de doğdu. Galatasaray Lisesi ve Mühendishane-i Berr-i Hümayun’u bitirdi. Lise yıllarında hocası Faik Üstünidman’dan jimnastik dersleri aldı. Bir süre Servet-i Fünun dergisinde spor bölümünü yönetti. O dönemde Galatasaray Lisesi öğretmenlerinden Juery ile iyi görüşen Selim Sırrı, Juery aracılığıyla Pierre de Coubertin ile temas kurdu. Coubertin, Türkiye’nin de IOC’ye girmesini istiyordu. 1908’de II. Meşrutiyet’in ilanıyla birlikte harekete geçen Selim Sırrı, ilk Milli Olimpiyat Komitesi’ni kurdu. 28 Mayıs 1909’da Berlin’de yapılan Uluslararası Olimpiyat Komitesi toplantılarına katıldı ve aynı yıl İsveç Kraliyet Askeri Beden Eğitimi ve Jimnastik Akademisi’ne başladı.
1911’de akademiyi bitirip yurda döndü ve beden eğitimi öğretmeni olarak çalışmaya başladı. I. Dünya Savaşı nedeniyle 1918’de IOC üyeliğinden çıkarılan Türkiye’nin Milli Olimpiyat Komitesi de dağıldı. 1922’de Selim Sırrı’nın çabalarıyla Türkiye Milli Olimpiyat Cemiyeti tekrar kuruldu ve komitenin başkanlığına seçildi. “Prag Spor Pedagajisi Kongresi” adıyla yayımladığı kitabında, 1925 yılında yapılan VIII. Olimpik Kongrenin konuşmalarını yayınladı ve çeşitli konferanslarda “amatörlük, amatör sporcu ve spor müsabakaları” konularında keskin görüşler dile getirdi.
1926’da konuşmaları yüzünden TİCİ tarafından kınandı. Selim Sırrı bu olay karşısında TMOK Başkanlığı’ndan çekildi ve 1930’da Uluslararası Olimpiyat Komitesi üyeliğinden de istifa etti. Cumhuriyet’in ilanına kadar çeşitli okullarda beden eğitimi öğretmenliğini sürdüren Selim Sırrı, 1924’te Beden Terbiyesi Başmüfettişi oldu. 1935’te bu görevinden emekliye ayrıldı ve bir dönem Ordu milletvekilliği yaptı. Yaşamı boyunca 58 kitap, 2500 makale ve yine pek çoğu spor konusunda 1520 konferans vererek erişilmesi güç bir rekora ulaştı. 2 Mart 1956 tarihinde kalp krizi sonucu vefat etti.