Bu yazıda, çok fazla teknik detaya girmeden , yazarları tarafından sunulan " Bir Görüntü 16x16 Kelimeye Değer: Büyük Ölçekte Görüntü Tanıma için Transformatörler " adlı yeni makalenin önemini açıklamak istiyorum (şimdiye kadar anonim olarak ikili -kör inceleme gereksinimleri) 2021 ICLR konferansına . Başka bir gönderide, standart MNIST veri kümesinde tahminler yapmak için bu yeni modeli (Vision Transformer olarak adlandırılır) PyTorch ile kullanmanın bir örneğini sunuyorum .
29 Ekim güncellemesi : Makale, hala inceleniyor olmasına rağmen, şimdi Arxiv'de yayınlandı ve Google Research'ten Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov ve diğerlerininyazarları olaraklistelendi. İnce ayar kodu ve önceden eğitilmiş modeller https://github.com/google-research/vision_transformer adresinde mevcuttur.
(Makine birden fazla gizli katmanda ile sinir ağları kullanılarak öğrenme) Derin öğrenme 1960'lardan beri var, ama gerçekten 2012 yılında öne çıktığı AlexNet , bir kıvrışımlı basit terimlerle ağ (bir ağ olduğunu daha küçük modeller için ilk bakışlar Alex Krizhevsky tarafından tasarlanan görüntünün her bir bölümünde ve ardından bunları genel bir resimde birleştirmeye çalışıyor), yıllık ImageNet görüntü sınıflandırma yarışmasını büyük bir farkla kazandı .
Gelecek yıl içinde, derin bilgisayarla görme teknikleri (yeni evrışimlı mimarileri ile, gerçek bir devrim yaşadı GoogleNet , ResNet , DenseNet , EfficientNet , (vs) ImageNet ve diğer kriter veri kümeleri üzerinde yeni doğruluk rekor talep her yıl görünen örn cifar-10 , CIFAR-100 ). Aşağıdaki resim, 2011'den bu yana ImageNet veri kümesindeki makine öğrenimi modellerinin ilk 1 doğruluğunun (görüntünün ilk denemede ne içerdiğini doğru tahmin etmenin doğruluğu) ilerlemesini göstermektedir.
Bununla birlikte, son birkaç yılda, derin öğrenmedeki en ilginç gelişmeler görüntü alanında değil, Transformer modeli nedeniyle doğal dil işlemede (NLP), ilk olarak 2017 tarihli " Dikkat, İhtiyacınız Olan Tek Şeydir ”Ashish Vaswani ve ark. Girdi cümlesinin farklı bölümleri arasındaki her bağlantının önemini modelleyen eğitilebilir ağırlıklara atıfta bulunan dikkat fikri, NLP üzerinde bilgisayar görüşü üzerindeki evrişimli ağların etkisine benzer bir etkiye sahipti ve çeşitli dilsel görevler üzerindeki makine öğrenimi modellerinin sonuçlarını büyük ölçüde iyileştirdi. doğal dil anlayışı ve makine çevirisi gibi.
Dikkatin özellikle dil verileri üzerinde işe yaramasının nedeni, insan konuşmasını anlamanın genellikle uzun vadeli bağımlılıkları takip etmeyi gerektirmesidir. Örneğin bir paragrafın ilk cümlesi “Biz geldi olabilecek New York'ta ”, ve sonra birkaç (veya daha fazla bir kaç yerine) cümleler sonradan yazar “hava söyleyebiliriz şehir harikaydı”. Herhangi bir insan okuyucu için, son cümlede "şehir" in "New York" a atıfta bulunduğu açık olmalıdır, ancak yalnızca yakın verilerde (evrişimli ağlar gibi) kalıp bulmaya dayanan bir model için bu bağlantının tespit edilmesi imkansız olabilir. .
Uzun vadeli bağımlılıklar sorunu, aslında Transformers gelmeden önce NLP'deki en iyi modeller olan LSTM'ler gibi tekrarlayan ağlar kullanılarak ele alınabilir, ancak bunlar bile belirli sözcüklerle eşleşmekte zorlanır.
Transformers'daki küresel dikkat modelleri, metnin HERHANGİ iki kelimesi arasındaki her bağlantının önemini tartar, bu da üstün performanslarını açıklar. Dikkatin daha az önemli olduğu sıralı veri türleri için (örneğin, günlük satış rakamları veya hisse senedi fiyatları gibi zaman-alan verileri) tekrarlayan ağlar hala çok rekabetçidir ve en iyi seçim olabilir.
Uzak nesneler arasındaki bağımlılıklar, NLP gibi dizi modellerinde özellikle önemli olabilirken, görüntü görevlerinde kesinlikle ihmal edilemezler. Bütün bir resmi oluşturmak için, görüntünün tüm bölümleri hakkında bilgi sahibi olmak genellikle gereklidir.
Dikkat modellerinin şu ana kadar bilgisayar görüşünde daha iyi performans göstermemesinin nedeni hem onları ölçeklendirmenin zorluğundan kaynaklanıyor (N² olarak ölçekleniyorlar, bu nedenle 1000x1000'lik bir görüntünün pikselleri arasındaki tam dikkat ağırlıkları bir milyon terime sahip olacaktı) belki daha da önemlisi, bir metindeki kelimelerin aksine, bir resimdeki tek tek piksellerin kendi başlarına çok anlamlı olmadıkları gerçeğinde, onları dikkat yoluyla birbirine bağlamak pek bir işe yaramaz.
Yeni makale, dikkatin piksellere değil, görüntünün küçük yamalarına (belki de başlıktaki gibi 16x16, ancak en uygun yama boyutu gerçekten modelin uyguladığı görüntülerin boyutlarına ve içeriğine bağlı olmasına rağmen) yaklaşımı önermektedir. uygulanır).
Yukarıdaki resim (kağıttan alınmıştır) Görme Transformatörünün nasıl çalıştığını göstermektedir. Giriş görüntüsündeki her yama, doğrusal bir projeksiyon matrisi kullanılarak düzleştirilir ve buna bir konumsal gömme (yamanın orijinal olarak görüntünün neresinde olduğu hakkında bilgi içeren öğrenilmiş bir sayısal değer) eklenir. Transformers, tüm girdileri sıralarına bakılmaksızın işlediğinden bu gereklidir, bu nedenle bu konumsal bilgiye sahip olmak, modelin dikkat ağırlıklarını doğru şekilde değerlendirmesine yardımcı olur. Sınıflandırma görevinde tahmin edilecek sınıf için bir yer tutucu olarak girişlere (görüntüde konum 0) fazladan bir sınıf simgesi birleştirilir.
Transformer kodlayıcı, orijinal 2017 sürümüne benzer şekilde, resmin sağ tarafında gösterildiği gibi, birden fazla dikkat bloğu, normalleştirme ve artık (atlama) bağlantıları olan tam bağlantılı katmanlardan oluşur. Her dikkat bloğunda, birden çok kafa farklı bağlantı modellerini yakalayabilir. Transformers hakkında daha fazla bilgi edinmek istiyorsanız , Jay Alammar'ın bu mükemmel makalesini okumanızı tavsiye ederim .
Çıkıştaki tam bağlı MLP kafası, istenen sınıf tahminini sağlar. Elbette, günümüzde her zaman olduğu gibi, ana model büyük bir görüntü veri kümesi üzerinde önceden eğitilebilir ve ardından son MLP kafası, standart aktarım öğrenme yaklaşımı aracılığıyla belirli bir göreve ince ayarlanabilir.
Yeni modelin bir özelliği, makaleye göre, daha az hesaplama ile aynı tahmin doğruluğunu elde etme açısından evrişimli yaklaşımlardan daha verimli iken, performansının gerçekten de daha fazla ve üzerinde eğitildikçe gelişmeye devam ediyor gibi görünmesidir. daha fazla veri, diğer modellerden daha fazla. Makalenin yazarları, Vision Transformer'ı 300 milyon (!) Görüntü içeren özel bir Google JFT-300M veri kümesi üzerinde eğitti ve bu, bir dizi karşılaştırmada son teknoloji doğruluk ile sonuçlandı. Bu önceden eğitilmiş modelin yakında halka açıklanacağını umabiliriz, böylece hepimiz deneyebiliriz.
Bilgisayarın görme alanına bu yeni sinirsel dikkat uygulamasını görmek kesinlikle heyecan verici. İnşallah önümüzdeki yıllarda bu gelişmeye bağlı olarak çok daha fazla ilerleme kaydedilecektir!
Yasal Uyarı: Bu makale yalnızca eğitim amaçlıdır. Kimseyi web sitelerini, özellikle de bu tür eylemlere karşı hüküm ve koşulları olabilecek web mülklerini kazımaya teşvik etmiyoruz.
Zeta Alpha'dan aylık ML makaleleri seçkisi: Ses oluşturma, Backprop'suz Gradyanlar, Uzmanların Karışımı, Çok Modluluk, Bilgi Alma ve daha fazlası. Mart ayı yapay zeka dünyasındaki gelişmelerle dolu olarak geldi: hemen arkamızda WSDM konferansı ve AAAI'nin de henüz sona ermiş olması gibi yayınlar ve konferanslar gelmeye devam ediyor.
Torchvision kitaplığının sezgisel bir anlayışı - temel bilgilerden ileri düzeye (Bölüm 1/3) Torchvision nedir? Torchvision, PyTorch ile el ele giden bir Bilgisayar Görüşü kütüphanesidir. Verimli Görüntü ve Video dönüşümleri için yardımcı programlara, yaygın olarak kullanılan bazı önceden eğitilmiş modellere ve bazı veri setlerine sahiptir (torchvision PyTorch ile birlikte gelmez, ayrı olarak kurmanız gerekecektir.
Torchvision kitaplığının sezgisel bir şekilde anlaşılması - 14 görsel dönüşüm örneğiyle (Bölüm 2/3) Bölüm 1 için (torchvision'daki modüllere giriş), lütfen aşağıdaki bağlantıyı ziyaret edin. Bu makalede, veri kümesi (görüntüler) yüklendikten hemen sonra bir dizi halinde gerçekleştirilebilen basit görüntü dönüştürme işlevlerini deneyeceğiz.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Bir önceki yazımda, blob algılama ve bağlantılı bileşenlere dayalı olarak ilgilenilen nesneleri nasıl tanımlayacağımızı öğrendik. Bununla birlikte, belirli ilgi çekici nesneleri görüntülerimizden ayırmamız gereken zamanlar olacaktır.