Gençliğinde muhasebecilik, satış temsilciliği gibi işlerde çalışan Watson, 1895 yılında National Cash Register adlı şirkette çalışmaya başladı. Bir süre sonra şirket sahibinin yardımcısı olan Watson, New York'a taşınarak Computing Tabulating Recording Company adlı şirkette müdür olarak çalışmaya başladı. Ekonomik sıkıntıya düşen şirketin üretimini delikli kart üretiminde yoğunlaştırarak ve çalışanlar arasında motivasyona önem vererek şirketi kurtardı. 1924 yılında adını "International Business Machines"IBM olarak değiştiren şirketi ABD'nin en kısa sürede en çok kar eden firmaları arasına soktu. 1944'te ilk bilgisayar üretimini yapan ve 1953 yılında Fortran yazım dilini geliştiren IBM, bilgisayar alanında dünyanın en önde gelen firması oldu. 1956 yılında işlerini oğluna bırakan Thomas John Watson, aynı yıl ülser nedeniyle yaşamını yitirdi.