Doğal dil işleme tanımı
Doğal dil işleme (NLP), dili anlamak, işlemek ve üretmek için bir bilgisayarı eğitmekle ilgilenen yapay zeka (AI) dalıdır. Arama motorları, makine çevirisi hizmetleri ve sesli asistanların tümü teknolojiden güç almaktadır.
Terim başlangıçta bir sistemin okuma yeteneğine atıfta bulunsa da, o zamandan beri tüm hesaplamalı dilbilim için bir konuşma dili haline geldi. Alt kategoriler arasında, bir bilgisayarın kendi iletişimini yaratma yeteneği olan doğal dil üretimi (NLG) ve doğal dili anlama (NLU) – argo, yanlış yazım hataları, yazım hataları ve dildeki diğer varyantları anlama yeteneği bulunur.
Doğal dil işleme nasıl çalışır?
NLP, makine öğrenimi (ML) aracılığıyla çalışır. Makine öğrenimi sistemleri, diğer veri türleri gibi kelimeleri ve bir araya gelme yollarını depolar. İfadeler, cümleler ve bazen kitapların tamamı, dilbilgisi kuralları, insanların gerçek hayattaki dil alışkanlıkları veya her ikisi kullanılarak işlendiği makine öğrenimi motorlarına beslenir. Bilgisayar daha sonra bu verileri kalıpları bulmak ve daha sonra gelecek olanı tahmin etmek için kullanır. Örneğin, çeviri yazılımını ele alalım: Fransızcada “Ben parka gidiyorum”, “Je vais au parc” dır, bu nedenle makine öğrenimi, “mağazaya gidiyorum” un da “Je vais au” ile başlayacağını öngörür. ” Bundan sonra bilgisayarın ihtiyacı olan tek şey “mağaza” kelimesidir.
NLP uygulamaları
Makine çevirisi güçlü bir NLP uygulamasıdır, ancak arama en çok kullanılanıdır. Google veya Bing’de bir şeye her baktığınızda, sisteme veri besliyorsunuz. Bir arama sonucunu tıkladığınızda, sistem bunu bulduğu sonuçların doğru olduğuna dair onay olarak yorumlar ve bu bilgiyi gelecekte daha iyi aramak için kullanır.
Sohbet robotları da aynı şekilde çalışır: Slack, Microsoft Messenger ve kullandığınız dili okudukları diğer sohbet programları ile entegre olurlar ve ardından bir tetikleyici cümle yazdığınızda açılırlar. Siri ve Alexa gibi sesli asistanlar da “Hey, Alexa” gibi ifadeler duyduklarında devreye giriyor. Bu yüzden eleştirmenler, bu programların her zaman dinlediğini söylüyor: Olmasalar, onlara ne zaman ihtiyacınız olduğunu asla bilemezler. Bir uygulamayı manuel olarak açmadığınız sürece, NLP programları arka planda çalışmalı ve bu ifadeyi beklemelidir.
Doğal dil işleme örnekleri
Veriler birçok biçimde gelir, ancak en büyük kullanılmayan veri havuzu metinden oluşur. Patentler, ürün özellikleri, akademik yayınlar, pazar araştırmaları, haberler, sosyal medya beslemelerinden bahsetmeye bile gerek yok, hepsinde birincil bileşen olarak metin var ve metin hacmi sürekli artıyor. Teknolojiyi sese uygulayın ve havuz daha da büyür. İşte kuruluşların teknolojiyi nasıl çalıştırdığına dair üç örnek:
Accenture, bunu sözleşmeleri analiz etmek için kullanır: Şirketin Accenture Legal Intelligent Contract Exploration (ALICE) aracı, küresel hizmetler firmasının 2.800 profesyonelden oluşan hukuk organizasyonunun, sözleşme maddeleri için yapılan aramalar da dahil olmak üzere, milyonları aşan sözleşmelerinde metin aramaları yapmasına yardımcı olur. ALICE, sözleşme belgelerini paragraf paragraf incelemek için “sözcük yerleştirme” kullanır ve paragrafın belirli bir sözleşme maddesi türüyle ilgili olup olmadığını belirlemek için anahtar sözcükler arar. Verizon müşteri isteklerini işler: Verizon’un Business Service Assurance grubu, müşteri istek yorumlarının işlenmesini otomatikleştirmek için NLP ve derin öğrenmeyi kullanır. Grup, ayda 100.000’den fazla gelen istek almaktadır. Yapay Zeka Özellikli Hizmet Güvencesi için Dijital İşçi, onarım biletlerini okur ve mevcut bilet durumu hakkında raporlama veya onarım ilerleme güncellemeleri gibi en yaygın taleplere otomatik olarak yanıt verir. Daha karmaşık sorunlar insan mühendislere yönlendirilir. Kamu Hizmeti Enerji ve Gaz (PSE & G), müşterilere sanal asistan konusunda yardımcı olur: New Jersey kamu hizmeti, müşterilerinin elektrik veya gaz hesaplarını sesli komutlarla yönetmelerini sağlamak için sanal asistan teknolojisini ve diğer dijital hizmetleri kullanır. Amazon tarafından sağlanan Alexa Skills Kit kullanılarak oluşturuldu.
Doğal dil işleme yazılımı
İster bir chatbot, sesli asistan, tahmini metin uygulaması veya özünde NLP olan başka bir uygulama oluşturuyor olun, bunu yapmanıza yardımcı olacak araçlara ihtiyacınız olacak. Teknoloji Değerlendirme Merkezlerine göre, en popüler yazılımlar şunları içerir:
Natural Language Toolkit (NLTK). NLTK, insan dili verileriyle çalışmak üzere Python programları oluşturmak için açık kaynaklı bir çerçevedir. Pennsylvania Üniversitesi Bilgisayar ve Bilgi Bilimi Bölümü’nde geliştirilmiştir ve 50’den fazla külliyat ve sözcük kaynağına arayüzler, bir metin işleme kütüphanesi paketi, doğal dil işleme kütüphaneleri için sarmalayıcılar ve bir tartışma forumu sağlar. NLTK, Apache 2.0 lisansı altında sunulmaktadır. SpaCy. SpaCy, araştırma yerine üretimde kullanılmak üzere özel olarak tasarlanmış, gelişmiş doğal dil işleme için açık kaynaklı bir kitaplıktır. SpaCy, üst düzey veri bilimi düşünülerek yapılmıştır ve derin veri madenciliğine izin verir. MIT tarafından lisanslanmıştır. Gensim. Gensim, açık kaynaklı bir Python kitaplığıdır. Platformdan bağımsız kitaplık, ölçeklenebilir istatistiksel anlambilim, anlamsal yapı için düz metin belgelerinin analizini ve anlamsal olarak benzer belgeleri alma becerisini destekler. İnsan gözetiminde olmadan büyük miktarda metni işlemek için tasarlanmıştır. Amazon Anlamak. Bu Amazon hizmeti, makine öğrenimi deneyimi gerektirmez. Kuruluşların e-posta, müşteri incelemeleri, sosyal medya, destek biletleri ve diğer metinlerden içgörüler bulmasına yardımcı olmayı amaçlamaktadır. Kelimelerin arkasındaki niyeti ayrıştırmak için duyarlılık analizi, konuşma parçası çıkarma ve belirteçleme kullanır. IBM Watson Tone Analyzer. Bu bulut tabanlı çözüm, sosyal dinleme, sohbet robotu entegrasyonu ve müşteri hizmetleri izleme için tasarlanmıştır. Müşteri gönderilerindeki duygu ve tonu analiz edebilir ve müşteri hizmetleri aramalarını ve sohbet konuşmalarını izleyebilir. Google Cloud Translation. Bu API, dili belirlemek üzere bir kaynak metni incelemek için NLP’yi kullanır ve ardından metni dinamik olarak başka bir dile çevirmek için nöral makine çevirisini kullanır. API, kullanıcıların işlevselliği kendi programlarına entegre etmelerine olanak tanır.
Doğal dil işleme kursları
NLP uygulamalarını oluşturmayı ve sürdürmeyi öğrenmek için birçok kaynak vardır ve bunların bir kısmı ücretsizdir. İçerirler:
DataCamp’tan Python’da Doğal Dil İşlemeye Giriş. 15 video ve 51 alıştırma olarak sunulan bu ücretsiz kurs, kelimeleri nasıl tanımlayacağınız ve ayıracağınız, bir metindeki konuları nasıl çıkaracağınız ve kendi sahte haber sınıflandırıcınızı nasıl oluşturacağınız dahil olmak üzere Python kullanarak NLP’nin temellerini kapsar. Udemy’den Doğal Dil İşlemeye (NLP) Giriş. Bu giriş kursu, Python ve Natural Language Toolkit kullanarak metinle çalışma ve metin analizi konusunda uygulamalı deneyim sağlar. Üç saatlik isteğe bağlı video, üç makale ve 16 indirilebilir kaynaktan oluşur. Kurs, bitirme sertifikası içeren 19.99 $ ‘dır. Udemy’den Python kullanarak Uygulamalı Doğal Dil İşleme (NLP). Bu ders, herhangi bir dilde temel programlama deneyimi olan, nesne yönelimli programlama kavramlarını anlayan, temelden orta matematik bilgisine ve matris işlemleri bilgisine sahip bireyler içindir. Tamamen proje tabanlıdır ve tweetlerin duyarlılığını gerçek zamanlı olarak tahmin etmek için bir metin sınıflandırıcı ve makaleleri alıp özeti bulabilen bir makale özetleyici oluşturmayı içerir. Kurs 10,5 saatlik isteğe bağlı video ve sekiz makaleden oluşmaktadır. Kurs, bitirme sertifikası içeren 19.99 $ ‘dır. EdX’ten Doğal Dil İşleme (NLP). Microsoft tarafından edX aracılığıyla sunulan bu altı haftalık kurs, doğal dil işleme ve klasik makine öğrenimi yöntemlerinin kullanımına genel bir bakış sağlar. İstatistiksel makine çevirisi ve derin anlamsal benzerlik modellerini (DSSM) ve uygulamalarını kapsar. Ayrıca NLP’de uygulanan derin takviye öğrenme tekniklerini ve vizyon dili multimodal zekayı da kapsar. Bu ileri düzey bir kurstur ve onu tamamlayanlar 99 $ ‘a Doğrulanmış Sertifika alabilirler. Coursera’dan Doğal Dil İşleme. Coursera’nın Gelişmiş Makine Öğrenimi Uzmanlığının bir parçası olan bu kurs, duygu analizi, özetleme, diyalog durumu izleme ve daha fazlasını içeren doğal dil işleme görevlerini kapsar. Coursera, bunun ileri düzey bir kurs olduğunu söylüyor ve tamamlamanın haftada dört ila beş saat olmak üzere beş haftalık bir eğitim alacağını tahmin ediyor. Coursera tarafından TensorFlow’da Doğal Dil İşleme. Bu kurs, Coursera’nın TensorFlow in Practice Uzmanlığının bir parçasıdır ve metni ve giriş cümlelerini bir sinir ağına işleyebilen doğal dil işleme sistemleri oluşturmak için TensorFlow kullanmayı kapsar. Coursera, bunun orta düzeyde bir kurs olduğunu söylüyor ve tamamlanmasının haftada dört ila beş saat olmak üzere dört haftalık bir eğitim alacağını tahmin ediyor.
NLP maaşları
PayScale’den alınan verilere göre, NLP ile ilgili en popüler iş unvanlarından bazıları ve her pozisyon için ortalama maaş.
Hesaplamalı dilbilimci: 60.000 – 110.000 Dolar Veri bilimcisi: 76.000 – 133.000 ABD Doları Veri bilimi direktörü: 122.000-216.000 ABD Doları Önde gelen veri bilimcisi: 107.000-165.000 ABD Doları Makine öğrenimi mühendisi: 78.000-156.000 ABD Doları Kıdemli veri bilimcisi: 105.000-167 ABD Doları K Yazılım mühendisi: 78.000 $ – 144.000 $
Telif Hakkı © 2021 IDG Communications, Inc.