Daha hızlı ve daha verimli AI sistem geliştirme arayışında olan Intel, AMD ve Nvidia bugün yayınlanan AI için ortak bir değişim formatı olarak adlandırdıkları şey için bir taslak belirtim. Gönüllü olmakla birlikte, önerilen “8 bit kayan nokta (FP8)” standardının, donanım belleği kullanımını optimize ederek ve hem AI eğitimi (yani, AI sistemleri mühendisliği) hem de çıkarım (çalıştırarak) için AI gelişimini hızlandırma potansiyeline sahip olduğunu söylüyorlar. sistemler).
Bir yapay zeka sistemi geliştirirken, veri bilimcileri, sistemi eğitmek için veri toplamanın ötesinde önemli mühendislik seçenekleriyle karşı karşıya kalırlar. Bunlardan biri, sistemin ağırlıklarını temsil edecek bir format seçmektir – ağırlıklar, sistemin tahminlerini etkileyen eğitim verilerinden öğrenilen faktörlerdir. Ağırlıklar, GPT-3 gibi bir sistemin, örneğin bir cümle uzunluğundaki komut isteminden tam paragraflar oluşturmasını veya DALL-E 2’nin bir başlıktan fotogerçekçi portreler oluşturmasını sağlayan şeydir.
Yaygın biçimler, sistemin ağırlıklarını temsil etmek için 16 bit kullanan yarı hassas kayan nokta veya FP16 ve 32 bit kullanan tek kesinlik (FP32) içerir. Yarı hassas ve daha düşük hassasiyet, bir yapay zeka sistemini eğitmek ve çalıştırmak için gereken bellek miktarını azaltırken, hesaplamaları hızlandırır ve hatta bant genişliğini ve güç kullanımını azaltır. Ancak bu kazanımları elde etmek için doğruluktan biraz fedakarlık ederler; sonuçta, 16 bit ile çalışmak 32’den daha azdır.
Bununla birlikte, Intel, AMD ve Nvidia dahil olmak üzere sektördeki pek çok kişi, tatlı nokta olarak FP8 (8 bit) etrafında birleşiyor. Bir blog yazısında, Nvidia kıdemli grup ürün pazarlama müdürü Shar Narasimhan, yukarıda belirtilen önerilen format olan FP8’in, bilgisayarla görme ve görüntü oluşturma sistemleri de dahil olmak üzere kullanım durumlarında 16 bitlik hassasiyetlerle “karşılaştırılabilir doğruluk” gösterdiğini ve “önemli” sonuçlar verdiğini belirtiyor. hızlanmalar.
Nvidia, Arm ve Intel, FP8 formatlarını lisanssız, açık formatta yaptıklarını söylüyorlar. Bir beyaz kağıt bunu daha ayrıntılı olarak açıklar; Narasimhan, özelliklerin daha sonraki bir tarihte değerlendirilmek üzere bir dizi teknik alanda standartları koruyan profesyonel kuruluş olan IEEE’ye sunulacağını söyledi.
Narasimhan, “Ortak bir değişim formatına sahip olmanın, hızlı ilerlemeleri ve hem donanım hem de yazılım platformlarının birlikte çalışabilirliğini, bilgi işlemi ilerletmek için sağlayacağına inanıyoruz.”
Üçlü, mutlaka kalplerinin iyiliğinden parite için bastırmıyor. Nvidia’nın GH100 Hopper mimarisi, Intel’in Gaudi2 AI eğitim yonga setinde olduğu gibi FP8’i doğal olarak uygular. AMD’nin ise yaklaşan Instinct MI300A APU’sunda FP8’i desteklemesi bekleniyor.
Ancak ortak bir FP8 formatı aynı zamanda SambaNova, Groq, IBM, Graphcore ve Cerebras gibi rakiplere de fayda sağlayacaktır – bunların tümü sistem geliştirme için bir çeşit FP8’i denemiş veya benimsemiştir. İçinde Blog Bu Temmuz’da Graphcore kurucu ortağı ve CTO’su Simon Knowles, “8 bitlik kayan noktanın ortaya çıkışının yapay zeka hesaplaması için muazzam performans ve verimlilik faydaları sunduğunu” yazdı ve bunun aynı zamanda endüstrinin bir ” Rakip biçimlerin bir karışımını kullanmak yerine tek, açık standart”.