Veri bilimi alanına girdiğimizde çoğu zaman yeterince yapılandırılmış ve ilgi çekici veri bulmakta güçlük çekiyoruz. Çoğu zaman, bir veri setinde bizimle kişisel olarak konuşmayan bir proje seçersek, proje arada kalabilir veya gönülsüzce tamamlanabilir. En iyi projeler, tüm proje yaşam döngüsü boyunca sizi meşgul eden, ilham veren ve motive eden projelerdir.
Y veri setinde X doğruluğu elde etmek yerine , tanıdığım insanların yüzlerini tespit eden bir web uygulaması kadar basit bir şey olsa bile, kişisel veri projelerini arkadaşlarım ve ailemle paylaşmak için genellikle daha heyecanlı ve hevesli hissediyorum . Bu basit gerçekleştirme, yaratıcı enerjinin akmasını sağlıyor ve ilkel bir veri kümesindeki belirli bir X doğruluk kıyaslamasından daha anlamlı, etkili ve yankı uyandıran bir çıktı sağlamak için beni dürtüyor . Ek bir avantaj olarak, bu tür projeler yapmak, bir iş görüşmesinde çok daha ilginç konuşmalar yapmanızı sağlar!
Bu yazıda, kişisel kullanım verilerinin bazı veri dışa aktarımlarını listelemeye çalışacağım. Buradaki ihracatın bir kısmı Hindistan'a özgüdür, ancak benzer alternatif uygulama ihracatları başka yerlerde de mevcut olmalıdır.
Çoğu zaman, yeni başlayanlar olarak, mümkün olduğunca temiz veri kullanma ve bazı komut dosyaları veya bazı kabuk komutlarıyla ellerimizi kirletmekten kaçınma eğilimindeyiz. Örneğin, ImageNet gibi kaggle veya kıyaslama veri kümelerinde bulduğumuz çoğu veri kümesi temizlenmiş ( yeterince temiz ) veri kümeleridir. Bununla birlikte, kişisel görüşüme göre, neredeyse yeterince temiz bir veri kümesi seçtiğimde ve daha fazla kullanım için yeterince temiz hale getirmek için üzerinde çalıştığımda daha iyi öğreniyorum . Bu nedenle, ellerinizi kirletmekten ve hata yapmaktan korkmayın. Bu şekilde kazanılan içgörüler ve öğrenme, her zaman yapılandırılmış ve iyi etiketlenmiş, temiz verilerle çalışmaktan elde edilen kazanımlardan çok daha ağır basacaktır.
Tür : Tablo, Zaman serisi, NLP
Hemen hemen tüm tarayıcılar, geçmiş verileri indirme seçeneği sunar. Verilerin çoğu bulutta yedeklendiğinden ve Google TakeOut'tan indirilebildiğinden, Google Chrome'u kullanmak için bir bonus . TakeOut, tüm google hizmetleri için veri dışa aktarma seçeneğini içerecek bir hizmettir. İşte tarayıcı geçmişini analiz etme girişimim .
2. YouTube
Tür : Tablo, Zaman serisi, NLP, Video/Vision, Audio
Youtube tarama geçmişi, Google TakeOut'tan ayrı olarak indirilebilir . Derecelendirmeler, Süre, Beğeniler, Görüntülemeler vb. gibi birçok ilginç sütunla birlikte gelir. Görüntüleme ilgi alanlarının zaman içinde nasıl şekillendiğini görmek ilginç olurdu. İşte veri analizi için kullanılan bir youtube geçmişi örneği .
3. Linkedin
Tür : Tablo, Zaman serisi, NLP
Bağlantılardan, makalelerden tüm hesap geçmişine kadar, LinkedIn verileri, kişinin iş-sosyal ağ kalıplarının kapsamlı bir analizi için dışa aktarılabilir. Veya başvurduğunuz işlerin hafıza şeridinde ilerlemeyi seçin. Buradaki en yaygın gözlem, bağlı olduğunuz şirketler kümesi olacaktır. İşte başlamak için örnek bir başlangıç komut dosyası .
4. Müzik: Spotify/Apple
Tür : Tablo, Zaman serisi, NLP, Ses
Dinlediğiniz her şey rahat bir biçimde indirilebilir ve biraz ön işleme ile kolayca tablo haline getirilebilir. Geçmiş verilerinin kendisi analiz etmek ve incelemek için birçok boyut sağlarken, ses ve video web siteleri veri seti oluşturma, çok daha derin bir analiz için bir adım ötesine geçebilir. Örneğin dinlediğiniz şarkıların sözleri indirilebilir ve analiz edilebilir. Sadece analiz etmekle kalmayıp bir adım daha ileri götürmek için , modeli kişiselleştirilmiş bir veri kümesi üzerinde eğiterek ses/video/görüntü/metin alanında içerik üretmeyi de deneyebiliriz . İşte başlamak için örnek bir not defteri .
5. Whatsapp
Tür : NLP, Vision, Chatbot
Whatsapp sohbet ihracatını hem iOS hem de Android cihazlardan almak mümkündür. İşte bir başlangıç analiz defteri . Emojiler ve düz metin hem analiz edilebilir hem de iç gözlem yapılabilir. Gerçek dünyadaki bir sohbet robotu için sizi ve kelime dağarcığınızı taklit edebilecek daha iyi bir veri seti elde edilemezdi.
Ayrıca, mesajlarımı kişisel olarak Hintçe-İngilizce karma dil olan “ Hinglish ” ile yazdığım için duygu analizi ve üretken deneyler için oldukça iyi bir oyun alanı olduğunu gördüm . Burada yeterince iyi bir NLP girişimi, ellerin kirlenmesini ve modellerin ince ayarlarının yapılmasını gerektirir, çünkü modellerin çoğu Hintçe veya İngilizce olarak önceden eğitilmiş olarak mevcuttur, ancak Hintçe konuşmada çok etkili değildir.
Hinglish'te de mevcut bazı modeller olduğunu unutmayın (bu, bir vaka bazında verileriniz için işe yarayabilir veya çalışmayabilir, ancak fikir aslında kendinizinkini eğitmeye çalışmak ve ortaya çıkan neşeyi yaşarken temel ve temel bir şey öğrenmektir. ondan).
Ancak, WhatsApp verileri yalnızca metinle sınırlı değildir. Aynı zamanda pek çok farklı türden pek çok farklı gruptan pek çok görüntü içerir. Çok az veya bazen hiç manuel etiketleme ile bu, CNN tabanlı sınıflandırıcılar, nesne dedektörleri ve diğer görüntü modelleri için mükemmel bir veri seti sağlar. İşte bazılarını yapan örnek bir gönderi .
6. Yemek dağıtım hizmetleri
Tip : NLP, Vizyon, OCR
Her ay pizzaya ne kadar harcadığınızı hiç merak ettiniz mi? En sevdiğin yemek nedir? Bugüne kadar ne kadar kargo ücreti ödediniz?
Tüm yiyecek dağıtım uygulamaları, bu tür verilerin sorunsuz bir şekilde dışa aktarılmasına izin verecek kadar cömert olmayacaktır. Bu tür verileri almanın bir yolu, Selenium kullanarak bir web kazıyıcı yazmaktır . Bir başka ilginç ve basit yaklaşım, tüm e-postalarınızı dışa aktarmak için Google TakeOut'u tekrar kullanmaktır . E-postalar daha sonra, seçtiğimiz herhangi bir satıcıdan fatura almak için filtrelenebilir. Biraz OCR/NLP/Vision ardışık düzenlerini takip edin ve veriler analiz için tablo biçimine dönüştürülmelidir.
Tür : Tablo, Zaman serisi, Öngörülü
Birçok borsa komisyoncusu, ayrıntılı ticaret yürütme verilerinin dışa aktarılmasına izin verir. Biri borsanın kendisini tahmin etmek kadar iddialı olsa da, bu verinin kendisi başka birçok içgörü ve başka uygulamalara sahip olabilir. Bu veriler (bir kişinin ticaretten kâr ettiğini varsayarsak), kişinin yapmayı sevdiği işlemlerin mükemmel bir örneğidir. Bunu canlı hisse senedi verileriyle birleştirerek, potansiyel olarak, bu geçmiş işlemleri kullanarak manuel olarak analiz etmemiz, bakmamız ve muhtemelen yararlanmamız için bir model dedektörü yapılabilir.
Diğer daha basit analizler (aldatıcı bir şekilde), belki de kişinin günün veya haftanın gününe göre ticaret faaliyeti tercihi konusunda kendini aydınlatabilir veya kişinin belirli bir sektöre veya büyük sermayeye karşı küçük sermayeye yönelik değişen tercihlerinin farkında olabilir.
Okuduğunuz için teşekkürler. Umarım beğenmişsinizdir ve yeni bir şey bulmuşsunuzdur. Herhangi bir hata yaptıysam, lütfen yorumlarda bana bildirin. Lütfen karşılaştığınız diğer ilginç ihracatları paylaşın veya bir sonraki veri bilimi projenizi geliştirin!
Tekrar teşekkürler. İyi günler. :)
Angular, benimseme konusunda büyümeye devam ediyor ve Frontend uygulamaları arasında her geçen gün daha popüler hale geliyor. Bu kısa kılavuzda, bir sonraki projeniz için bunlardan hangisinin doğru seçim olabileceğini anlamaya çalışarak en büyük ve en popüler UI kitlerinden ve çerçevelerinden bazılarına göz atacağız.
Giriş Bu makalede, bilgisayarların Logic Gates'ten sayıları nasıl eklediğini öğreneceksiniz. Bilgisayarlar, Logic Gates'in "Doğru VE Doğru" veya "Yanlış VEYA Doğru"dan nasıl 723+128 hesaplar.
JavaScript dili bir tarayıcıda yaşar. Aslında şunu yeniden ifade edelim: bir web tarayıcısının içinde JavaScript motoru adı verilen ayrı bir bölüm vardır.
Machiavelli'nin mükemmel Rönesans prensinin son kaderi Belki de Rönesans dünyasındaki hiçbir isim Borgia kadar rezil değildir. Aragonlu soylu ailesi, daha çok Rodrigo Borgia olarak bilinen tartışmalı Alexander VI yönetiminde İtalyan siyasi hayatına hakim oldu.
Ortalama Hassasiyet (AP) ve ortalama Ortalama Hassasiyet (mAP), diğerleri arasında Daha Hızlı R_CNN, Maske R-CNN, YOLO gibi nesne algılama modellerini değerlendirmek için kullanılan en popüler ölçümlerdir. Aynı ölçüler, COCO ve PASCAL VOC yarışmaları gibi yarışmalarda başvuruları değerlendirmek için de kullanılmıştır.
Roger Rudick'in bu yorumu ilk olarak Streetsblog SF'de yayınlandı ve burada izinle yayınlandı. De Young Müzesi'nin web sitesindeki kopyada, “Binamız, şehrin panoramik manzarasını etkileyici bir kule gözlem seviyesinden sunan çağdaş bir mimari dönüm noktası olan San Francisco'da önemli bir destinasyondur” diyor.
"Yıldızlarla Dans Etmek" profesyoneli Cheryl Burke, ünlü partneri Cody Rigsby'nin dostluğu ve desteği için "şanslı" ve "müteşekkir" olduğunu söylüyor.
Şef Mathew, Lexi Wilson'a "Below Deck Mediterranean"ın son bölümünde tanıştığı "en kötü insan" olduğunu söyledi. Herhangi bir pişmanlık?
Dancing With the Stars yarışmacısı Brian Austin Green, kız arkadaşı Sharna Burgess'in işleri batırırsa "onu terk ederse" şaşırmayacağına dair şaka yaptı.
Monica Lewinsky, ilk başta 'İzin: Amerikan Suç Hikayesi' hakkında emin değildi. Ama bir yorum onu rahatlattıktan sonra gemiye geldi.
Çoğumuz bir çıkış görüşmesinin nasıl çalıştığını biliyoruz, ancak kalıcı görüşme nedir? Ve çalışanlarla iş tatmini hakkında konuşmak onları kapıdan dışarı çıkmaktan alıkoyabilir mi?
Bu, uzaktan çalışmayı biraz daha rahat yapar, değil mi?
Mars güneş birleşimi her iki yılda bir gerçekleşir ve NASA'yı Kızıl Gezegendeki varlıklarla iletişimi kesmeye zorlar. Anlaşma nedir?
Yedi Yıl Savaşı olarak da adlandırılan Fransız ve Hint Savaşı, Fransızların "Kızılderililere" karşı değil, dolaylı olarak Amerikan Devrimi'ne yol açan devasa bir Fransız ve İngiliz toprak gaspıydı.
Merhaba! Haftalık en iyi internet çizgi roman derlemeniz Kotaku'nun Sunday Comics zamanı. Büyüteç simgesine tıklarsanız görüntüler büyür.
Çarşamba günü Hizmet Şartları'nda yapılan bir güncellemede YouTube, artık İş Ortağı Programına üye olmayan kullanıcılar tarafından oluşturulan videolardan önce reklam yayınlayacağını, ancak elde ettiği yeni geliri bu kullanıcılarla paylaşmayacağını duyurdu. platformdaki tüm içerikten para kazanma hakkı ve reklamlar YouTube İş Ortağı Programında yer almayan kanallardan gelen videolarda görünebilir, ”diyor platformdan Çarşamba gecesi bir e-posta.
Bir sonraki Marvel filmi olan Captain America: Civil War'u görebilmemiz için daha önümüzde daha uzun aylar var, ancak yavaş yavaş onun hakkında yeni ayrıntılar öğreniyoruz. Bu kez Chris Evans, Captain America ve Iron Man'in neden savaştığını açıklıyor ve Stan Lee savaşta kimi desteklediğini açıklıyor.
Elektrikli arabaların İsrail için mükemmel olabileceğini düşünürdünüz. Benzin fiyatının yaklaşık 5 dolar olduğu bir ülkede.
Jasmine Christine Sturm, Matthew Isiah Pettus, Nitosha Lee Flug-Presley ve Loyace Foreman III, 12 Eylül'de Wisconsin'de bir SUV'da vurularak öldürüldükten sonra iki şüpheli gözaltına alındı.
65 yaş ve üstü aşılı Amerikalılar ve ciddi hastalık riski yüksek olan kişiler için üçüncü bir atış önerilir.
Avustralya Koala Vakfı, ülke üç yıl içinde hayvanların üçte birini kaybettiği için koala popülasyonunun düşüşte olduğunu bildiriyor.
Başkan Yardımcısı Kamala Harris, Ocak ayında göreve başlamasından bu yana ilk stüdyo içi talk show'unu The View'da yapacak.