Proje # NLP365 (+1), 2020'de her gün NLP öğrenme yolculuğumu belgelediğim yerdir. Son 100 gündür burada öğrendiklerime göz atmaktan çekinmeyin .
Bugünün NLP makalesi, İlişki Çıkarma ve Anlamsal Rol Etiketleme için Basit BERT Modelleridir . Araştırma makalesinin temel çıkarımları aşağıdadır.
İlişki çıkarma ve anlamsal rol etiketleme için SOTA performansı elde etmek için BERT tabanlı modelleri kullanın. Makale, BERT'yi ilişki çıkarımı ve anlamsal rol etiketlemesine başarıyla uygulayan ilk kişi olduğunu iddia ediyor.
Anlamsal rol etiketleme için amaç, bir cümlenin yüklem-argüman yapısını çıkarmaktır. Bu, olayın ne olduğunu, olay ne zaman gerçekleştiğini, kimin dahil olduğunu, nerede gerçekleştiğini vb. Öğrenmek istediğimiz anlamına gelir. Bu, mantıksal muhakemenin önemli olduğu aşağı akış NLP görevleri için kullanışlıdır.
Bir cümle ve iki varlık aralığı (örtüşmeyen) verildiğinde, amacımız iki varlık arasındaki ilişkiyi tahmin etmektir. BERT mimarisinin figürü aşağıdadır.
Süreç aşağıdaki gibidir:
İlişki ayıklama için değerlendirme veri kümesi TAC İlişkisi Çıkarma Veri Kümesidir (TACRED). Sonuçlar aşağıda gösterilmiştir. BERT tabanlı model, mevcut diğer tüm bağımsız modellerden daha iyi performans gösterdi, ancak yine de topluluk modellerine kıyasla düşecektir.
Anlamsal rol etiketleme 4 alt görevden oluşur:
Buradaki amaç, bir bağlamdaki bir yüklemin anlamını doğru bir şekilde etiketlemektir. Adımlar aşağıdaki gibidir:
Buradaki amaç, argüman aralıklarını veya sözdizimsel başlıkları tanımlamak ve bunları doğru anlamsal rol etiketlerine eşlemektir. Girdimiz bir cümle-yüklem çiftidir ve etiket kümesinin BIO etiketleme şeması ile yüklem argümanları arasında çakıştığı bir dizi tahmin etmemiz gerekir. Model yukarıdaki şekilde gösterilmiştir.
Aralık tabanlı anlamsal rol etiketleme için değerlendirme veri kümeleri CoNLL 2005 ve 2012'dir. Bağımlılık tabanlı anlamsal rol etiketleme için değerlendirme veri kümesi CoNLL 2009'dur.
Sonuçlar aşağıda gösterilmektedir. Tablo 2'de, tahmin anlamında belirsizlik giderme için doğruluk sonuçlarına sahibiz. Önceki SOTA, dilbilimsel özelliklere sahip bir BiLSTM'dir ve BERT tabanlı model, MLP modelini kullanarak bundan daha iyi performans gösterebilmiştir. Tablo 3, tahmin anlamındaki belirsizliği hariç tutan argüman tanımlama ve sınıflandırmanın sonuçlarını göstermektedir. Yine BERT tabanlı model, karşılaştırıldığında tüm modellerden daha iyi performans gösterdi.
Tablo 4 ve 5, hem bağımlılık temelli hem de kapsam temelli anlamsal rol etiketlemesi için son 2-son sonuçlarını göstermektedir. Tablo 4'te BERT-LSTM-büyük modelin F1 puanı açısından önceki SOTA'dan daha iyi performans gösterdiğini ve herhangi bir dilsel özellik olmaksızın farklı topluluk modellerini geçebildiğini görebiliriz. Aralık tabanlı anlamsal rol etiketleme için, BERT-LSTM-büyük modeli, topluluk modelinden biraz daha düşük F1 puanına sahip olduğu CoNLL 2012 veri kümesi dışında, topluluk modeli dahil tüm modellerden daha iyi performans göstermiştir.
Basit BERT tabanlı modellerin ürettiği sonuçlar, gelecekteki araştırmalar için güçlü temeller sağlar. Gelecekteki olası çalışma, mevcut sonuçları daha da iyileştirip iyileştirmediğini değerlendirmek için sözdizimsel özelliklerin yeniden sunulmasını içerebilir. Aynı anda hem ilişki çıkarımını hem de anlamsal rol etiketlemeyi öğrenmekten fayda sağlayıp sağlayamayacağımızı görmek için çoklu görev öğrenimi üzerine ek çalışma olabilir.
[1] Shi, P. ve Lin, J., 2019. İlişki çıkarma ve anlamsal rol etiketleme için basit BERT modelleri. arXiv ön baskı arXiv: 1904.05255 . URL:https://arxiv.org/pdf/1904.05255.pdf
İlk olarak 17 Nisan 2020'de https://ryanong.co.uk adresinde yayınlandı .
Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Yapay Zekaya Giriş Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Torchvision kitaplığının sezgisel bir anlayışı - temel bilgilerden ileri düzeye (Bölüm 1/3) Torchvision nedir? Torchvision, PyTorch ile el ele giden bir Bilgisayar Görüşü kütüphanesidir. Verimli Görüntü ve Video dönüşümleri için yardımcı programlara, yaygın olarak kullanılan bazı önceden eğitilmiş modellere ve bazı veri setlerine sahiptir (torchvision PyTorch ile birlikte gelmez, ayrı olarak kurmanız gerekecektir.
Torchvision kitaplığının sezgisel bir şekilde anlaşılması - 14 görsel dönüşüm örneğiyle (Bölüm 2/3) Bölüm 1 için (torchvision'daki modüllere giriş), lütfen aşağıdaki bağlantıyı ziyaret edin. Bu makalede, veri kümesi (görüntüler) yüklendikten hemen sonra bir dizi halinde gerçekleştirilebilen basit görüntü dönüştürme işlevlerini deneyeceğiz.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Bir önceki yazımda, blob algılama ve bağlantılı bileşenlere dayalı olarak ilgilenilen nesneleri nasıl tanımlayacağımızı öğrendik. Bununla birlikte, belirli ilgi çekici nesneleri görüntülerimizden ayırmamız gereken zamanlar olacaktır.