Brüksel doğumlu Toots Thielemans kariyerine gitarist olarak başladı. 1949 yılında Paris’te Sidney Bechet, Charlie Parker, Miles Davis, Max Roach ve dönemin diğer önemli müzisyenlerinin bulunduğu bir jam session’a katıldı. 1949 ve 1950’de Benny Goodman’ın Avrupa turnesinde yer aldı. Yine aynı dönemde ilk albümünü Stockholm’de tenor saksofoncu Zoot Sims ile kaydetti. 1951’de şarkıcı ve besteci Bobbejaan Schoepen’in grubuna gitarist olarak katıldı.
1952 ve 1959 yılları arasında George Shearing Quintet’e dahil oldu. Bu dönem yine çoğunluklu olarak gitar çalsa da konserler ve kayıtlarda bazı parçalarda armonika da çaldı. 1959’da bir konserde Thielemans’ı ve Rickenbacker gitarını gören John Lennon ise o gün gitar çalmaya karar vermiştir.
Toots Thielemans’ın bestesi olan jazz standardı ‘’Bluesette’’te ise gitar ve ıslığı aynı anda kullandı. İlk kez 1962 yılında kaydettiği parçaya daha sonra Norman Gimbel’in yazdığı sözler eklendi ve parça dünya çapında üne kavuştu. Birçok projede lider ve eşlikçi olarak yer aldı. Özellikle de besteci ve aranjör Quincy Jones ile çalışmalar yaptı. Yer aldığı film müzikleri arasında ise Midnight Cowboy, Cinderella Liberty, Jean de Florette, The Sugarland Express, The Yakuza, Turkish Delight, The Getaway, French Kiss, Dunderklumpen! yer almaktadır. Susam Sokağı’nın kapanış müziği de yine Thielemans’a aitti.
80’lerde Jaco Pastorius ile birçok farklı grup formatlarında yer aldı. 1983’te Billy Joel albümü An Innocent Man’de çaldı. Bu albümdeki Leave a Tender Moment Alone performansı hala akıllardadır. Bir yıl sonra ise Julian Lennon parçası Too Late for Goodbyes’a armonikasıyla renk kattı.
2001 yılında müziğe katkılarından dolayı Belçika kralı 2. Albert tarafından baron ünvanı verildi. 2009 yılında NEA Jazz Master ünvanını aldı.
2012 yılında Jazz at Lincoln Jazz Center’da Thielemans’ın 90. yaşını kutlamak için verilen konserde Herbie Hancock, Eliane Elias, Kenny Werner gibi isimler sahne aldı, bazı parçalarda Toots Thielemans da sahneye çıktı.
Sağlık sorunlarından dolayı artan konser iptallerinin ardından 12 Mart 2014 tarihinde sanatçı bütün konserlerini iptal etti ve emekliye ayrıldığını açıkladı. Son olarak sürpriz bir şekilde 2014 Ağustos’unda Antwerp’teki Jazz Middelheim Festivali’nde sahne aldı.
Thielemans 94 yaşında Brüksel’de hayata gözlerini yumdu.