Google, BERT dilinin dev ürün sürümünde genel performansı göstermek için MLPerf rakiplerini kullanır (Transformers'tan Çift Yönlü Kodlayıcı Temsilleri, Google tarafından geliştirilen doğal dil işleme eğitimi için transformatör tabanlı bir makine öğrenimi tekniğidir).
Yapay zekanın derin öğrenme dünyası, boyuta takıntılıdır.
OpenAI GPT-3 gibi derin öğrenme programları, sürekli büyüyen yazılım programları oluşturmak için Nvidia ve AMD'den giderek daha fazla GPU yongası kullanmaya devam ediyor. Araştırmacılar, programların doğruluğunun boyutla birlikte arttığını iddia ediyor.
Ayrıca bkz: Google araması:νistekleriniz
Boyutla ilgili bu saplantı, bilgisayar çiplerinin derin öğrenme kodunu ne kadar hızlı kırabileceğine ilişkin standardı belirleyen MLCommons (herkes için makine öğrenimini geliştirmeye adanmış küresel, açık uçlu, kâr amacı gütmeyen bir kuruluş) tarafından bildirilen en son sektör karşılaştırmasında Çarşamba günü ayrıntılı olarak açıklandı.
Google, alanında iyi kurulmuş ancak nispeten eski programlardan oluşan herhangi bir standart derin öğrenme referans testine başvurmamaya karar verdi. Bunun yerine, Google mühendisleri, Google'ın doğal dil programı BERT'nin başka hiçbir satıcının kullanmadığı bir sürümünü sundu.
Rekabetçi performansı ölçmek için kullanılan karşılaştırma ölçütü olan MLPerf, iki segment için sonuçları raporlar: çoğu satıcının ResNet-50 gibi yerleşik ağlarda rekabet ettiği standart "Kapalı" segment ve satıcıların başkalarını denemelerine izin veren "Açık" segment. -standart yaklaşımlar.
Aç bölümünde Google, 2.048 Google TPU yongası, sürüm 4 kullanan bir bilgisayar gösterdi. Bu makine, BERT programını yaklaşık 19 saatte dağıtabildi.
481 milyar parametreli bir sinir ağı olan BERT, daha önce keşfedilmemişti. "BERT Büyük" olarak bilinen standart BERT versiyonundan üç kat daha büyüktür., sadece 340 milyon parametreye sahip. Daha fazla parametreye sahip olmak genellikle çok daha fazla bilgi işlem gücü gerektirir.
Google, yeni sunumun yapay zekada ölçeğin artan önemini yansıttığını söyledi.
MLPerf test paketi, makine öğreniminin her iki bölümü için birden çok yıllık karşılaştırmalı kıyaslama değerlendirmeleri yayınlayan bir endüstri konsorsiyumu olan MLCommons'un oluşturulmasıdır.: Birden fazla deneyde ayarlarının iyileştirilmesiyle bir sinir ağının oluşturulduğu sözde eğitim ve entegre sinir ağının yeni veriler alırken tahminler yaptığı sözde sonuç.
Çarşamba günkü rapor, koçluk aşaması için son referans testidir. Bir önceki Haziran raporu aşağıdadır.
MLPerf'in tam sonuçları, MLCommons web sitesindeki bir basın bülteninde tartışıldı. Başvuruların tüm detayları web sitesinde yayınlanan tablolarda bulunabilir.
Google'dan Selvan, MLCommons'ın daha büyük modelleri dahil etmeyi düşünmesi gerektiğini söyledi. ResNet-50 gibi daha eski, daha küçük ağlar, büyük ölçekli eğitim performansı için "bize yalnızca bir proxy veriyor" dedi.
Eksik olan şey, dedi Selvan, sistemlerin yaşlandıkça sözde verimliliği. Google, dev BERT modelini %63 verimlilikle yürütmeyi başardı, ZDNet'e teorik kapasiteye göre saniyede gerçekleştirilen kayan nokta işlemlerinin sayısıyla ölçüldüğünü söyledi. Bunun, Microsoft ile geliştirilen Megatron-Turing dil modelinin geliştirilmesinde Nvidia'nın bir sonraki en yüksek puanı alan %52'sinden daha iyi olduğunu söyledi.
David Kanter, İcra Direktörü MLCommons, büyük modeller için kararın ortaklaşa karar vermek için Commons üyelerine bırakılması gerektiğini söyledi. Bununla birlikte, küçük sinir ağlarının test olarak kullanılmasının rekabeti daha fazla yer için erişilebilir hale getirdiğine dikkat çekti.
Bunun yerine, kodu herkesin kullanımına açık olan standart MLPerf testi, herhangi bir yapay zeka araştırmacısının testleri tekrarlamak için kullanabileceği bir kaynaktır, dedi Kanter.
Google, yeni BERT modelini piyasaya sürmeyi düşünmüyor, Selvan bir e-postada ZDNet'e şunları söyledi: bunu "sadece MLPerf için yaptığımız bir şey" olarak tanımlıyor. Selvan, programın bu yılın başlarında bir Google aramasında açıklanan planlara oldukça benzer olduğunu söyledi.
BERT programının 481 milyar parametresine rağmen, gerçek dünya kodunu temel aldığı için gerçek dünya çalışmasını temsil eder.
Bilgi kaynağı: zdnet.com