Veri bilimcileri için en büyük zorluk, muhtemelen kulağa sıradan gelen ancak herhangi bir analiz için çok önemli olan bir şeydir - kirli verileri temizlemek. Kirli verileri düşündüğünüzde, muhtemelen yanlış veya bozuk verileri düşünüyorsunuz. Ancak gerçek şu ki, eksik veriler aslında kirli verilerin en yaygın oluşumudur. Bir müşteri segmentasyon analizi yapmaya çalıştığınızı düşünün, ancak verilerin% 50'sinin kayıtlı adresi yok. Analiz, belirli alanlarda müşteri göstermeme konusunda önyargı olacağından, analizinizi yapmak zor veya imkansız olacaktır.
Üç tür eksik veri vardır:
Verilerin rastgele eksik olduğunu söylediğimizde, eksikliğin çalışılan kişiyle hiçbir ilgisi olmadığını kastediyoruz. Örneğin, postada bir anket kaybolabilir veya laboratuvarda bir kan örneği zarar görebilir.
Tamamen rastgele eksik olan verilerin istatistiksel avantajı, analizin tarafsız kalmasıdır çünkü verilerin yokluğu tahmin edilen parametreleri etkilemez. Ancak, verilerin gerçekten MCAR olup olmadığını ifade etmek zor olabilir.
Verilerin rastgele eksik olduğunu söylediğimizde, bir veri noktasının eksik olma eğiliminin eksik verinin kendisiyle ilgili olmadığını, ancak gözlemlenen bazı verilerle ilgili olduğunu varsayıyoruz . Diğer bir deyişle, eksik değer olasılığı, gözlemlenebilir verilerin özelliklerine bağlıdır. Örneğin, aşık olduğunuz kişi sizi reddettiyse, "çoktan kendini adamış" veya "yaşam hedefleri sizinkinden farklı" gibi diğer değişkenlere bakarak muhtemelen nedenini anlayabilirsiniz.
Rastgele eksikliğin idare edilmesi nispeten kolaydır - eksiklik olasılığını etkileyen tüm değişkenleri regresyon girdileri olarak dahil edin. Ne yazık ki, genellikle verilerin gerçekten rastgele mi eksik olduğundan veya eksikliğin gözlemlenmeyen tahmin edicilere mi yoksa eksik verilere mi bağlı olduğundan emin olamayız.
Verilerin rastgele değil eksik olduğunu söylediğimizde, eksik verilerde birincil bağımlı değişkeninizi etkileyen bir model olduğunu varsayıyoruz. Örneğin, en düşük eğitime sahip kişiler eğitimde eksiktir, en hasta kişiler büyük olasılıkla araştırmadan çekilir veya uyuşturucu bağımlıları bir ankette uyuşturucu kullanım alanlarını boş bırakır. Bu aynı zamanda bu eksik değerlerin rasgelelikten dolayı boş olmadığı, ancak kasıtlı olarak boş bırakıldığı anlamına gelir.
Veriler rastgele eksik değilse, analizinizi veya modelinizin tahminini önyargılı hale getirebileceğinden eksik verileri kabul etmemiz bir anlam ifade etmeyecektir.
Eksik değerleri bir sütundaki ortalama, medyan veya mod ile değiştirmek çok temel bir ispat yöntemidir. Bu yöntem en hızlısıdır ancak kodlanmış kategorik özelliklerde iyi çalışmaz. Ek olarak, özellikler arasındaki korelasyonları hesaba katmaz. Bu basit isnat yöntemini kullanmak zorunda kalırsak, ortalama değer analize aykırı değer veya gürültü getirdiği için ortalama değer yerine medyan değeri kullanmayı düşünün.
from sklearn.preprocessing import Imputer imputer = Imputer(missing_values='NaN', strategy='median') transformed_values = imputer.fit_transform(data.values) # notice that imputation strategy can be changed to "mean", “most_frequent”, 'constant' # read the documentation here: https://scikit-learn.org/stable/modules/generated/sklearn.impute.SimpleImputer.html
KNNImputer, Öklid mesafe matrisi ile k en yakın komşuyu bularak gözlemlerde bulunan eksik değerleri hesaplamaya yardımcı olur. KNNImputer başlık altında nasıl çalıştığını kontrol edebilirsiniz burada . Bu yöntem, basit isnat etmekten daha doğrudur; ancak, hesaplama açısından pahalı olabilir ve aykırı değerlere karşı duyarlı olabilir.
import numpy as np from sklearn.impute import KNNImputer imputer = KNNImputer(n_neighbors=2) #define the k nearest neighbors imputer.fit_transform(data) # read the documentation here: https://scikit-learn.org/stable/modules/generated/sklearn.impute.KNNImputer.html
Çok değişkenli uygulama, verilerdeki diğer değişkenleri de hesaba katarak artan gürültü sorununu çözer. Zincirleme denklemlerle (MICE) temel çoklu impütasyon, verilerin rasgele eksik olduğunu varsayar. Diğer veri örneklerine bakarak gerçek değeri hakkında eğitimli bir tahmin yapabiliriz.
İşte üç ana adım:
import numpy as np from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer imp = IterativeImputer(max_iter=10, random_state=0) imp.fit(X_train) imp.transform(X_test) # read the documentation here: https://scikit-learn.org/stable/modules/impute.html
Eksik veriler hiçbir analizde göz ardı edilemez. Bir Veri Bilimcisi veya Veri Analisti olarak, eksik değerleri öylece bırakamayız. Verilerin nasıl eksik olduğunu anlamamız ve NaN değerlerini buna göre işlememiz gerekir.
Bir dahaki sefere kadar mutlu öğrenim! 👩🏻💻E-Ticaret için Ürün Öneri Sistemi Oluşturmak: Bölüm I - Web'den Kazıma
Yıllık ortalama 154 bin dolar maaş ve istikrarlı iş büyümesi ile şimdi blok zinciri geliştirmeyi öğrenmek için ideal zaman. Blok zinciri teknolojilerini oluşturmak ve geliştirmek için blok zinciri geliştiricileri, bilgisayar ağı, kriptografi, algoritmalar ve veri yapıları dahil olmak üzere çeşitli beceriler kullanır.
Geliştirici deneyimi bugüne kadar bu yıl en çok kullanılan terimlerden biri, ancak fikri ve arkasındaki anlamı o kadar çok paylaşıyorum ki Santagostino'da (bugün çalıştığım şirket) başlangıç için mini bir araç geliştirdim. BT / DEV departmanındaki kişilerin sayısı. Startupper olarak adlandırılan bu araç, çok teşekkür ettiğim SparkFabrik playbook'tan esinlenmiştir.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.