Sibelius'u Hameenlinna kasabasının Fince öğretim yapan okuluna gönderirler. Bu arada keman çalmaya olağanüstü bir yeteneği olduğu ortaya çıkar. Kendisi de bir keman virtüözü olmak yolunda hayaller kurmaya başlar. Aynı zamanda ilk beste denemeleri de ilgi toplamaktadır. 1885'te Helsinki'ye giderek hukuk okumaya koyulur. Ancak bir yıl içinde kendini müziğe adayarak hukuk öğrenimini bırakır. Helsinki'de Martin Wegelius'un kompozisyon öğrencisi olur. Daha sonra, 1889'da Berlin'de Becker ve 1890'da Viyana'da Fuchs ve Goldmark ile müzik eğitimi görür. Bu sıralarda ortaya çıkan ilk yapıtları, oda müziği için bestelerdir.
1893'te Helsinki'ye döndüğünde besteciler ve yazarlar çevresindeki ulusçu akımın etkisinde kalır. İlk vatanperper yapıtları arasında Finlandiya (1899) senfonisi yer alır. Ulusal Fin destanlarından Kalevala, besteciye esin kaynağı olmuştur: Korolu bir orkestra yapıtı olan Kullervo senfonisi (1892), ilk seslendirilişinde büyük övgüler toplar. Tıtonela Kuğusu'nu içeren Dört Masal (1893-95) ve Pohjola'nın Kızı (1906) başlıklı yapıtı bu destansı esinden kaynaklanır.
Besteci, 1897'de hükümetten burs alıncaya dek Helsinki Konservatuvarı'nda öğretmenlik yapar. Bundan sonra kendini besteciliğe adar. 1892'de besteci Armas Jarvenpaa'nın kız kardeşi Aino Jarnefelt ile evlenir ve on yıl içinde birlikte bir köy evi yaparlar. Javenpaa yakınlarındaki bu konuta Ainola adını verirler ve besteci ölümüne dek burada yaşar. Ölümünden sonra Sibelius, ülkesinde bir ulusal kahraman olarak yaşatılmış, doğum günleri festival biçiminde kutlanmıştır. Yaşamı süresince, İngiltere ve Amerika'ya birkaç kısa gezi yapar. 1914'te New England Konservatuvarı'nda öğretmen olur.
Sibelius, kişisel bir üslup geliştirmiş, yalın ve öz bir anlatım öngörmüştür. İlk kez Üçüncü Senfonisi’nde denediği teknikle, temayı oluşturan malzemesi küçük bir hücreden gelişir, ancak tema ve çeşitleme yönteminde yol almaz. Orkestradaki renklerin birbirine uyumunu incelikle seçer. Senfonik şiir biçimi, besteci için çok kullanışlı bir araç olmuştur. En Sağa (1893-1901)'dan başlayarak Tapiola (1926) gibi son büyük çalışmasına dek senfonik şiirin özelliklerinden yararlanmıştır.
Besteci olarak onu üne kavuşturan en önemli yapıtları, yedi büyük senfonisidir (1899-1924). Bu senfonilerde Finlandiya topraklarının renklerini yoğun bir orkestra yapısı ve zengin bir armoni dokusu içinde duyurur. İlk iki senfonisinde Çaykovski'nin etkisi, sonrakilerde Bruckner'in geniş soluğu dikkati çeker. Dördüncü Senfoni'sinde Mahler benzeri uyuşumsuz akorlarla karmaşık bir armoni yaratır. Keman Konçertosu (1903) keman dağarcığının başyapıtları arasında yer alır. Birçok piyano parçası ve yaylı çalgılar kuvarteti bestelemiştir.
Kuvartetlerinden sonuncusuna Voces Intimae (Yakın Sesler) (1919) adını verir. Ayrıca Fince ve İsveççe güfteler üstüne birçok şarkısı ve koro parçası vardır. Sibelius 1926'da yazdığı Tapiola'dan sonra etkin besteciliğe son verir ve ölümüne dek, 30 yıl süreyle bu uğraştan uzak durur. Bu sessizliği çeşitli söylentilere yol açar. İçkiye düşkünlüğü nedeniyle öz denetimini yitirmek istemediği için daha fazla beste yapmadığı veya Yedinci Senfoni'si ile senfonik çizgide yapılabilecek her şeyi denediği, artık kendini yinelemekten korktuğu yolunda yorumlar vardır.
İki Dünya Savaşı arasındaki yıllarda İngiltere ve Amerika Birleşik Devletleri'nde en gözde bestecilerden biri Jean Sibelius olmuştur. Özellikle İngiltere'de Elgar'ın ölümünden sonra Sibelius'un senfonileri büyük bir hayranlıkla çalınıp dinlenmiştir. İngiliz besteci Vaughan Williams, kendi Beşinci Senfoni'sini Sibelius'a adamıştır. 20. yüzyıl başındaki İngiliz bestecilerini teknik açıdan geniş ölçüde etkilemiştir.