Araştırmacılar, bilgisayarların daha çeşitli dillerle daha verimli çalışmasına yardımcı olmak için bir AI modeli geliştirdi.
Afrika dilleri bilgisayar bilimcilerinden çok az ilgi gördü, bu nedenle kıtanın geniş kesimlerinde çok az doğal dil işleme yeteneği mevcuttu. Waterloo Üniversitesi’nden David R. Cheriton Bilgisayar Bilimleri Okulu’ndaki araştırmacılar tarafından geliştirilen yeni dil modeli, bilgisayarların birçok yararlı görev için Afrika dillerindeki metni analiz etmesini sağlayarak bu boşluğu doldurmaya başlıyor.
Araştırmacıların AfriBERTa adını verdiği yeni sinir ağı modeli, düşük kaynaklı diller için en gelişmiş sonuçları elde etmek için derin öğrenme tekniklerini kullanıyor.
Nöral dil modeli, 400 milyondan fazla insan tarafından toplu olarak konuşulan Amharca, Hausa ve Swahili gibi 11 Afrika diliyle özel olarak çalışır. Yalnızca bir gigabaytlık metinden öğrenmeye rağmen mevcut en iyi modellerle karşılaştırılabilir çıktı kalitesi elde ederken, diğer modeller binlerce kat daha fazla veri gerektirir.
Waterloo’da bilgisayar bilimi alanında yüksek lisans öğrencisi olan Kelechi Ogueji, “Önceden eğitilmiş dil modelleri, bilgisayarların makine çevirisinden soru yanıtlamaya kadar değişen görevler için metin verilerini işleme ve analiz etme biçimini değiştirdi” dedi. “Ne yazık ki, Afrika dilleri araştırma topluluğundan çok az ilgi gördü.”
“Zorluklardan biri, sinir ağlarının inşa edilmesinin şaşırtıcı derecede metin ve bilgisayar yoğun olmasıdır. Ve muazzam miktarda kullanılabilir metne sahip İngilizce’den farklı olarak, dünya çapında konuşulan yaklaşık 7.000 dilin çoğu, düşük kaynaklı olarak nitelendirilebilir. Veriye aç sinir ağlarını beslemek için mevcut veri eksikliği var.”
Bu modellerin çoğu, ön eğitim olarak bilinen bir teknik kullanarak çalışır. Bunu başarmak için araştırmacı, modele bazı kelimelerin kapatıldığı veya maskelendiği bir metin sundu. Model daha sonra maskeli kelimeleri tahmin etmek zorunda kaldı. Bu işlemi milyarlarca kez tekrarlayarak, model, insanın dil bilgisini taklit eden kelimeler arasındaki istatistiksel ilişkileri öğrenir.
Bilgisayar Bilimleri Cheriton Başkanı ve Ogueji’nin danışmanı Jimmy Lin, “Belli aşağı akış görevleri için aynı derecede doğru olan, ancak çok daha az miktarda veri kullanan modelleri önceden eğitebilmek birçok avantaja sahiptir” dedi. “Dil modelini eğitmek için daha az veriye ihtiyaç duyulması, daha az hesaplamanın gerekli olduğu ve sonuç olarak büyük veri merkezlerinin işletilmesiyle ilişkili daha düşük karbon emisyonu anlamına gelir. Daha küçük veri kümeleri ayrıca veri iyileştirmeyi daha pratik hale getirir, bu da modellerde mevcut olan önyargıları azaltmak için bir yaklaşımdır.”
“Bu çalışma, Afrika kıtasındaki 1,3 milyardan fazla insana doğal dil işleme yeteneklerini getirmek için küçük ama önemli bir adım atıyor.”
Ogueji ve Lin’e bu araştırmada yardımcı olan, yakın zamanda Waterloo’da bilgisayar bilimi alanında lisans derecesini tamamlayan Yuxin Zhu’dur. Birlikte araştırma makalelerini sunarlar, Küçük veri? Sorun değil! Düşük kaynaklı diller için önceden eğitilmiş çok dilli dil modellerinin uygulanabilirliğini 2021 Doğal Dil İşlemede Ampirik Yöntemler Konferansı’ndaki Çok Dilli Temsil Öğrenme Çalıştayı’nda keşfetmek.
Yaygın olmayan konuşulan diller için konuşma tanımaya doğru
University of Waterloo tarafından sağlanan
Alıntı: Yeni AI, doğal dil işlemenin gücünü Afrika dillerine getiriyor (2021, 9 Kasım), 20 Kasım 2021’de https://techxplore.com/news/2021-11-ai-power-natural-language-african.html adresinden alındı.
Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir bölüm çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.
#Yeni #doğal #dil #işlemenin #gücünü #Afrika #dillerine #getiriyor