Bir veri bilimcisi olarak, bir API ile nasıl çalışacağınızı bilmeniz gerekir. Bir API ile çalışarak yalnızca gerçek dünya verilerini toplayamazsınız, aynı zamanda işleri kolaylaştırabilir ve veri bilimi projenizin gelişimini hızlandırabilirsiniz.
Python'da duygu analizi uygulamak istediğinizi ve sıfırdan kendi modelinizi oluşturmak istemediğinizi, yalnızca hızlı bir çözüm istediğinizi varsayalım. Burada bir API, sıkı çalışmanın üstesinden gelerek ve size yalnızca analitik kısmı bırakarak yardımcı olabilir.
Bu makalede, duygu analizi, metin özetleme ve veri toplamayı uygulamamıza yardımcı olacak bazı Python API'leri göstereceğim. Bunları veri bilimi projenizi başlatmak veya geliştirmek için bir kısayol olarak düşünebilirsiniz.
Duygu analizi, metin verilerinin pozitif, negatif veya nötr olup olmadığını sınıflandırmamıza yardımcı olur. Tipik olarak, bu NLP tekniğini uygulamak için Python'da ( bu kılavuzda yaptığım gibi ) bir makine öğrenimi modeli oluşturursunuz , ancak Python'da duygu analizini uygulamanın daha kolay bir yolu var.
Python'da duygu analizini kolayca uygulamak için AssemblyAI API'sini kullanabilirsiniz . Bu API, ses ve video dosyalarını otomatik olarak metne dönüştürür.
postMetin verilerine sahip olduğumuzda, duygu analizini uygulamak, bir istek göndermek ve
sentiment_analysisözelliği olarak ayarlamak kadar basittir
True.
Bu yazımda bu API ile duygu analizinin nasıl yapıldığını gösteriyorum fakat ondan önce ücretsiz bir AssemblyAI hesabı oluşturarak API anahtarınızı almanız gerekiyor. Her API, onlarla etkileşim kurmak için bir anahtar gerektirir. Anahtarınızı aldıktan sonra, istek göndermeye hazırsınız.
Aşağıdaki örnekte, Stanford'daki ünlü Steve Jobs konuşmasına duygu analizi uygulamak için bu API'yi nasıl kullandığımı görebilirsiniz. Pandas veri çerçevesine dönüştürdüğüm bir JSON dosyası çıktısı aldım.
Yukarıda görebileceğiniz gibi API, transkriptleri, duyarlılığı (nötr, pozitif ve negatif) ve tahminin güvenini döndürür.
Tüm bunları, kendi modelinizi oluşturmak zorunda kalmadan, istediğiniz zaman kullanıma hazır, son teknoloji bir AI modeline güvenerek elde edersiniz.
Metin özetleme, ondan en önemli bilgiyi elde etmek için büyük metnin özetlenmesinden oluşur.
NLTK, Gensim ve Sklearn gibi kütüphaneleri kullanarak Python'da metin özetleme uygulayabiliriz. Ancak, metni bölümlere ayırmak ve her bölüm için bir özet almak için bir API de kullanabilirsiniz.
AssemblyAI API kullanarak Python'da metin özetlemeyi kolayca uygulayabiliriz. Buna ek olarak, bu API'nin sahip olduğu konuşmadan metne özelliği sayesinde ses ve video dosyalarını bölümlere ayırabiliyoruz.
Bu rehberde ses ve video dosyalarını 3 adımda kolayca özetlemeyi gösteriyorum. Her zaman olduğu gibi önce API anahtarınızı almanız, ardından ses dosyanızı Python kodunu kullanarak yüklemeniz, transkript talebini göndermeniz ve transkript ve özeti kaydetmeniz gerekir. Tüm bunlar daha önce bahsettiğim rehberde detaylı olarak görebileceğiniz istek
postve istekler üzerinden yapılıyor .
get
Aşağıdaki örnekte, Stanford'daki Steve Jobs konuşması için bölümler oluşturmak ve her bölüm için bir özet oluşturmak için API'yi kullandım. İşte bir JSON dosyasında aldığım bölümlerden biri:
{ "summary": "The only way to do great work is to love what you do. Keep looking and don't settle. Like any great relationship, it just gets better and better as the years roll on.", "headline": "The only way to do great work is to love what you do.", "start": 514536, "end": 534430, "gist": "don't settle" },
Bir veri bilimi projesi başlatmak için veriye sahip olmak esastır. Büyük bir şirkette çalışıyorsanız, patronunuz büyük olasılıkla ihtiyacınız olan verileri sağlayacaktır. Bununla birlikte, üzerinde çalışacağınız tüm projeler için her zaman veriye sahip olmayacaksınız - işte o zaman internetten gerçek dünya verilerini toplamanız gerekiyor.
Veri toplamak için en güvenli ve en pratik seçenek, hedef web sitesinden API kullanmaktır. Bu, veri bilimi projeniz için kendi veri kümenizi kolayca oluşturmanıza yardımcı olacaktır.
Günümüzde en popüler web sitelerinin kendi API'leri vardır. Verileri düzgün şekilde çekmek için her birinin giriş ve çıkışlarını anlamanız gerekse de, bir API ile etkileşim kurmak için kullanılan kitaplıklar ve teknikler benzerdir.
YouTube videolarından görüntüleme, bağlantı, beğenmeme ve yorum sayısı gibi metrikler toplamak istediğinizi varsayalım. Bu durumda, verileri çekmek ve veri kümenizi oluşturmak için YouTube API'sini kullanabilirsiniz.
Burada , genel olarak API'lerle çalışmanıza da yardımcı olacak YouTube API'siyle nasıl çalışacağınıza ilişkin bir kılavuz bulunmaktadır . Bir YouTube kanalından veri toplamadan önce bir API anahtarına (bu kılavuz bu konuda yardımcı olabilir) başvurmanız gerektiğini unutmayın .
Şimdi diyelim ki YouTube'dan bir videoyu metne dönüştürmek ve bu metin verilerini toplamak istiyorsunuz. Burada, ses/video dosyalarını metin verilerine dönüştürmek için AssemblyAI'nin Speech-to-Text API'sini kullanabilirsiniz. Bu kılavuzda, bu API'yi kullanarak kendi YouTube videomun girişini kopyaladım .
Kılavuzumu kontrol ederseniz, API'nin bunu transkripsiyonla çivilediğini göreceksiniz!
Tüm derslerimde kullandığım Python for Data Science Cheat Sheet'imi almak için 10k+ kişiyle e-posta listeme katılın (Ücretsiz PDF)
Bunun gibi hikayeleri okumaktan hoşlanıyorsanız ve beni bir yazar olarak desteklemek istiyorsanız, Medium üyesi olmak için kaydolmayı düşünün. Ayda 5 ABD dolarıdır ve size binlerce Python kılavuzuna ve Veri bilimi makalesine sınırsız erişim sağlar. Bağlantımı kullanarak kaydolursanız , size ekstra bir ücret ödemeden küçük bir komisyon kazanacağım.
Bilinç nedir? Yüzyıllardır filozofların ve bilim adamlarının kafasını karıştıran bir sorudur. Bazıları bunun bedenlerimizden bağımsız olarak gerçekten anlayamadığımız geçici bir şey olduğunu söylüyor.
Yıllık ortalama 154 bin dolar maaş ve istikrarlı iş büyümesi ile şimdi blok zinciri geliştirmeyi öğrenmek için ideal zaman. Blok zinciri teknolojilerini oluşturmak ve geliştirmek için blok zinciri geliştiricileri, bilgisayar ağı, kriptografi, algoritmalar ve veri yapıları dahil olmak üzere çeşitli beceriler kullanır.
1949 Amerika'da bir dizi olay oldu; Los Angeles ilk kar yağışını kaydetti, 1.200 kiloluk bir inek Oklahoma'da bir siloya sıkıştı ve ABD'de hiçbir Afrikalı-Amerikalının linç edilmediği ilk yıldı. Aynı zamanda FBI'ın En Çok Arananlar listesi fikrinin ortaya çıktığı zamandı.
Bu blogda, İngilizce'ye yaklaşımımı nasıl ve neden değiştirmeye karar verdiğimi ve yaptığım bazı etkinliklerden para kazanarak bir yıldan kısa bir sürede fakir bir B1'den başlayarak B2 seviyesine nasıl geldiğimi tartışacağım. İçindekiler Okulda örnek bir öğrenci olmasam da İngilizce öğrenmek her zaman kültürel geçmişime eklemek istediğim bir şeydi.
1.Nörogenez, sinirsel düzenleyici gibi davranabilir mi?(biorXiv) Yazar : Lina M.
2021'de hizmet verdiğiniz müşteriler ve onlara anlattığınız hikayeler hakkında bildiğiniz her şeyi yeniden düşünmenizi tavsiye ediyorum. Geri adım atmak.