Transformers mimarisi tanıtıldı Dikkat, ihtiyacınız olan tek şey kağıt. Bilgisayar görüşü için CNN'e benzer şekilde, transformatörler NLP içindir. Transformatörleri kullanarak inşa edebileceğiniz basit bir günlük kullanım durumu, Sohbet Robotudur.
Benzer kullanım durumu için kullanılan LSTM'ler, RNN ve GRU gibi modellerin geçmişine girmeyeceğim, ancak akılda tutulması gereken tek bir şey var, bu modeller, geçiş veya metin uzadıkça uzun menzilli bağımlılıkları yakalayamadı. ve daha uzun.
Transformatör mimarisi, bir kodlayıcı ve bir kod çözücü ağından oluşur. Aşağıdaki resimde, sol taraftaki blok kodlayıcıdır (bir çok kafalı dikkat ile) ve sağ taraftaki blok kod çözücüdür (iki çok kafalı dikkat ile).
İlk olarak, kodlayıcı bloğunu açıklayacağım, yani giriş gömme oluşturmadan kodlanmış çıktı üretmeye ve ardından softmax fonksiyonunu kullanarak kod çözücü yan girişinden çıkış olasılıklarına geçerek kod çözücü bloğuna kadar.
Konumsal kodlama, koşula dayalı bir işlev kullanılarak oluşturulan basit bir vektördür. Örneğin, tek girdi gömme işleminde, bir konum kodlaması (bir vektör) oluşturmak için cos işlevini kullanacağımızı ve hatta girdi gömmede konumsal bir kodlama (bir vektör) oluşturmak için sin işlevini kullanacağımızı şart koşabiliriz .
Sorgu, Anahtar ve Değer Vektörleri Oluşturma
Son adımda, Konumsal Girdi Gömme oluşturduk. Bu yerleştirmeyi kullanarak, Doğrusal Katmanları kullanarak bir dizi Sorgu, Anahtar ve Değer Vektörü oluşturuyoruz. Açık olmak gerekirse, her kelime için Q, K ve V vektörlerine sahip olacağız.
Q, K ve V için yığın taşmasında en iyi benzetme, bir videonun metin aramasının Sorgu olduğu ve sorgudaki kelimelerin youtube DB'deki anahtarlarla eşleştirildiği ve dönüşün değerler, yani videolar ortaya çıkardığı Youtube Aramasıdır.
İçten Tek Kafa Dikkat
Çok başlı dikkat, öz-dikkat adı verilen özel bir dikkat mekanizması kullanır . Öz dikkatin amacı, her kelimeyi dizideki diğer tüm kelimelerle ilişkilendirmektir.
Yukarıdaki görüntüde, dikkat ağında Mask (opt.) Görebiliriz çünkü kod çözme sırasında maskeleme kullanacağız ve kodlayıcının çok kafalı dikkatinde gerekli değildir. Transformatör ağının kod çözücü tarafını keşfederken maskeleme hakkında tartışacağız.
Gördüğümüz kodlayıcı çıkışı, bir kodlayıcıya veya tek bir dikkat bloğuna aittir. Daha sonra burada çok kafanın ne anlama geldiğini göreceğiz.
Şimdi, Kodlayıcı Bloğu altında gördüğümüz tüm adımlar, Çok Kafalı Dikkat Tek Başlı, Q, K ve V vektörlerini farklı N kafalarına kopyalıyoruz. Q, K ve V vektörlerini oluşturduktan sonraki işlemlere öz-dikkat modülü denir.
Transformatör mimarisini kontrol edersek, Kodlayıcı ve Kod Çözücü Bloğunun her iki tarafında birden fazla artık katman ve x N görürüz, bu da her birinin odaklanması ve dizilerin geniş temsilini öğrenmesi anlamına gelen çoklu Çoklu Başlık Dikkatine işaret eder.
Kalıntı katmanlar, bozunma probleminin ve kaybolan gradyan probleminin üstesinden gelmek için kullanılır. Ödeme Aynı kağıt için yeniden ağ.
Özetle, trafo ağındaki Çok Başlı Dikkat Modülü, girişler için dikkat ağırlıklarını hesaplar ve her bir kelimenin sıradaki diğer tüm kelimelere nasıl eşlik etmesi gerektiğine dair kodlanmış bilgilerle çıkış vektörü üretir.
Dekoder bloğunda iki adet çok başlı dikkat modülümüz var. Altta maskelenmiş çok başlı dikkatte, kod çözücü girişini ve ikinci çok başlı dikkatte, kodlayıcının çıktısını ilk Çok başlı dikkatin çıktısıyla birlikte aktarırız.
Kod çözücü, kodlayıcı ile benzer işlevi görür, ancak yalnızca tek bir değişiklikle, yani Maskeleme yapar. Neyin maskelendiğini ve neden kullanıldığını satırın sonunda göreceğiz.
Kod çözücünün otomatik gerileyen bir model olduğu, yani geçmişteki davranışa dayalı olarak gelecekteki davranışı tahmin ettiği unutulmamalıdır. Kod çözücü, girişin dikkat bilgilerini içeren Enkoder çıkışı ile birlikte önceki çıktı listesinde girdi olarak alır (Hi How are you). Kod çözücü, <End> belirteci ürettikten sonra kod çözmeyi durdurur .
Kodlayıcının çıktısı, kod çözücüdeki ikinci Çok Başlı Dikkat girişinin Sorgu ve Anahtarları olarak kabul edilir ve Birinci maskelenmiş çok başlı dikkatin çıktısı, ikinci Çok Başlı Dikkat Modülünün değeri olarak kabul edilir.
İlk adım, kod çözücü girdisini kullanarak değer vektörlerini oluşturmak ve dikkat ağırlıkları oluşturmaktır.
Masked Multi-Head Attention, gelecekteki belirteçlere bakmasını engellemek için onu koşullandırmamız gereken diziyi kelime kelime oluşturur.
Daha önce belirtildiği gibi, kod çözücü otomatik gerileyen bir modeldir ve gelecekteki davranışı tahmin etmek için önceki girdileri alır. Ama şimdi, girişimiz var <Başlat> İyiyim, kod çözücümüz bir sonraki girişi önceden görmemeli çünkü sonraki giriş, kod çözücünün öğrenmesi için gelecekteki girdidir.
Örneğin, giriş sözcüğü I için dikkat puanı hesaplanırken, modelin gelecekteki am sözcüğüne erişimi olmamalıdır. Çünkü sonra üretilen gelecek kelimedir. Her kelime, önceki tüm diğer kelimelere uyabilir. Modelin gelecekteki girdiyi görmesini engellemek için ileriye dönük bir maske oluşturuyoruz.
İşaretli sıfırlar esasen önemsiz hale gelir ve benzer şekilde, bu birden fazla kafada yapılır ve uç vektörler birleştirilir ve daha fazla işleme ve rafine etme için Doğrusal katmana aktarılır.
Özetle, ilk Maskeli Çoklu Başlık Dikkat, modelin kod çözücü girdisine nasıl katılması gerektiği hakkında bilgi içeren maskelenmiş bir çıktı vektörü oluşturur.
Okuduğunuz için teşekkürler. Makalelerimi okumayı sevdiyseniz, buradan daha fazla makale için göz atın .
Etrafımızdaki dünya gibi, dil de sürekli değişiyor. Önceki dönemlerde dil değişiklikleri yıllar hatta on yıllar içinde meydana gelirken, artık günler hatta saatler içinde gerçekleşebilir.
Bir ürün yöneticisi olarak sürekli olarak ekibimi ve kendimi daha verimli ve etkili hale getirmenin yollarını arıyorum. Aşağıda, zamandan tasarruf etmek ve daha fazla etki yaratmak için ChatGPT'yi bir Proje Yöneticisinin iş akışına nasıl dahil edebileceğinize dair birkaç başlangıç fikri verilmiştir.
Yapay Zekaya Giriş Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Artık anlamıyorum. Artık neyin "vuruş" olduğunu doğru bir şekilde ölçmek neredeyse imkansız görünüyor.
Bir süredir Cillian Murphy'nin çalışmalarının hayranıyım. Amerika Birleşik Devletleri'ndeki popülaritesindeki patlamadan çok önce İngiliz ve İrlanda film sahnesinde bir isim yaptı.
Doğası gereği, spor bizi rekabet etmeye zorlamak için tasarlanmıştır. Rekabetçi sporcular olarak, diğer sporculara karşı sürekli rekabet etme baskısına kapılmak kolaydır, ancak ya dış rekabete odaklanmak yerine, odak noktanızı iç rekabete kaydırsaydınız? Bu, başkalarını yenmeye çalışmak yerine kendinizle rekabet etmek ve kendi performansınızı geliştirmek için çabalamak anlamına gelir.