Koçman, 23 Şubat 1943 yılında İstanbul'da dünyaya geldi. Babası iş adamı Sıtkı Koçman, annesi Fatma Mefharet Hanım’dır. 1961 yılında Işık Lisesi'nden mezun oldu ve İktisadi Ticari Bilimler Akademisi'ni tamamladıktan sonra, ABD ve İngiltere'de lisansüstü çalışma yaptı.
İş hayatına 1966 yılında başlayan Ali Koçman, gemicilik, otomotiv sanayii, gıda sanayii, madencilik, ithalat, ihracat konularında faaliyet gösteren aile şirketlerinde yönetici görev yaptı. Merkezi Hamburg'da olan uluslararası bir denizcilik konferansının 7 sene başkanlığını yaptı.
1980-1985 tarihleri arasında Türk Sanayicileri ve İşadamları Derneği (TÜSİAD) yönetim kurulu başkanlığı görevlerinde yer aldı. Uluslararası temaslarda Türkiye’yi sözcü ve delege olarak temsil etmiştir.
Türk denizcilik sektörünün duayenlerinden biri olan Koçman, Türkiye'nin en büyük denizcilik şirketinin başkanı olmasına rağmen denizi sevmeyen ve şileplerinin dışında bir sandalı bile olmayan bir kişiydi.
Ali Koçman, 12 Şubat 1984 tarihli Hürriyet gazetesinde yayınlanan bir röportajında, denizden ne denli nefret ettiğini şöyle anlatmıştı:
Koçman'ın tüm iş yaşamı boyunca koruduğu özelliklerden biri de politize olmamasıydı. Pek çok siyasi partinin milletvekili ve bakanlık teklifine rağmen Koçman her zaman tüm siyasi partilere eşit mesafede durmaya çok dikkat etti. Buna rağmen satır aralarında Turgut Özal'a olan hayranlığının mesajlarını vermekten kendini alamadı.
Ali Koçman, hiç evlenmedi. 28 Mart 1999 tarihinde 56 yaşında tedavi olmak için akşam ABD'ye giderken uçakta geçirdiği kalp krizi sonucu hayatını kaybetti.
4 Şubat 2000 tarihinde Muğla Ula’da bulunan okula "Ula Ali Koçman Meslek Yüksekokulu" adı verilmiştir.