Gap-Statistics ile ilgili son blog yazımda, çoğu zaman verinin birçok özelliği olduğunu (yüzlerce hatta bazen binlerce) açıkladım. 100 özelliğe sahip bir veri setini 100 boyutlu olarak kabul ediyoruz. Dolayısıyla her özellik, veri kümesinin bir boyutunu temsil eder. Verileri görselleştirmek için oldukça fazla boyut var. Üçü hariç tüm özellikleri kesip atamayız, değil mi? Tabii ki hayır ! Bunun bir istisnası, 100 özellikten 98'inin yüksek oranda ilişkili olması olabilir (Isı Haritaları ile öğrenin), bu nedenle 97'sini atlıyoruz ve yalnızca bir tanesini alıyoruz. Sonra üç boyutlu bir veri kümesiyle sonuçlanırdık.
Ancak bu pek olası değil!
Bu nedenle, verilerle çalışırken bilmeniz gereken iki önemli konuyu ele alacağım:
Tüm model analizi veya veri araştırma görevlerinin karmaşıklığının daha yüksek bir boyutlulukla arttığını bilmek sezgiseldir ancak önemlidir.
Karmaşıklıktaki bu artışa boyutluluk laneti diyoruz . Çoğu zaman, bazı özellikler tamamen yararsızdır veya yüksek oranda ilişkilidir. Bu nedenle, olabildiğince çok boyuttan kurtulmak için bir boyut azaltma tekniği uygulanabilir. Boyutsallığı olabildiğince düşük olan verilerle gerçekten çalışmak istiyoruz .
Yüksek boyutlu verilerle çalışırken üç sorunu tespit edebiliriz:
Üçten fazla boyutu olan verileri nasıl çizebiliriz?
Evet, 4B veya 5B uzayda bile komplo kurabiliriz, ancak hızla yükseliyor.
Teknik olarak bunu yapmak için bazı yöntemler var. Örneğin, dördüncü boyutu görselleştirmek için veri noktalarının boyutunu değiştirebiliriz veya ek olarak beşinci boyut olarak bazı renkler ekleyebiliriz. Ama bunun ne kadar hızlı arttığını görüyorsunuz ve biz insanlar artık bu 5B arsasından bilgilendirici hiçbir şey okuyamıyoruz. Bu yüzden çoğunlukla yararsızdır, çünkü temel bir nokta bu görselleştirmelerden bilgi elde etmek istememizdir.
Özellik uzayının alt bölümü, boyutsallıktaki artışla birlikte üssel olarak yükselir.
Yukarıdaki resmin en sağdaki şekilde, üç boyutta 27 eşit boyutlu hücreye sahip olduğumuzu görüyoruz. 15 özellik (= 15 boyut) için, özellik uzayında zaten 15 milyon eşit boyutlu hücre (3 ^ 15) olur. Bir Rastgele Orman, bu yüksek boyutlu özellik alanına uyması için muazzam miktarda parametreye ihtiyaç duyar. Rastgele Ormanın nasıl çalıştığını biliyorsanız, o zaman Rastgele Orman Sınıflandırıcısı ve Rastgele Orman Regresörü değilse, özellik alanını farklı sınıflandırma alanlarına böldüğünü bilirsiniz. Ancak diğer sınıflandırma yöntemleri de böylesine yüksek boyutlu bir alana sığdırmak için imkansız olarak daha fazla parametre gerektirir.
Bu belki de en önemli ama aynı zamanda en şaşırtıcı mesele:
Boyut ne kadar yüksekse, özellik uzayının en dış sınırında o kadar fazla veri noktası bulunur.
Yukarıdaki Şekil 2'den görebildiğimiz şey , verilerin özellik uzayında nerede olduğunu hesaplamanın formülüdür . D boyutların sayısıdır ve ε sınır kabuğunun sınırını belirtir. 0,01 olmasını ε seçerseniz , bu , özellik alanının dış % 1'inde kaç tane veri noktasının bulunduğu anlamına gelir . ε = 0.75 , özellik uzayının dış % 75'inde kaç tane veri noktasının bulunduğu anlamına gelir . Yukarıdaki yeşil daire özellik uzayını temsil eder, burada ε her zaman kenardan çemberin çekirdeğine doğru başladığını gösterir .
Bu nedenle, Şekil 1 'e bakacak geri biz boyutluluk için bu, görebilir 200 , elimizdeki % 86 noktaları, dış yalan veri % 1 özelliği, alan kabuk. 3B alanda ise, verilerin% 3'ü dış% 1'lik kabuğun üzerindedir.
Bu çılgınlık değil mi?
Özellik uzayının seyrekliği, daha yüksek boyutlarla önemli ölçüde artar. Özellik uzayının sabit yoğunluğunu korumak için büyük miktarda yeni veri örneğine ihtiyacımız olacak. Ancak GAN'lar gibi çok süslü üretim modelleri kullanmadığınız sürece, gerçekten bu kadar kolay yeni veri örnekleri oluşturamazsınız.
Bu bölümde dört boyut azaltma tekniğini ele alacağız. Her birine kısa bir genel bakış veriyorum, ancak adli tıpın nasıl yapılacağını anlamak için yeterli. Her boyutluluk tekniği, her veri dağılımı için uygun değildir. Dört yöntemden birini seçerken çok dikkatli olunması gerekir, çünkü yanlış tekniği seçerseniz beklendiği gibi çalışmadığına şaşıracaksınız. Küresel ve yerel boyutluluk azaltma tekniklerini ayırt etmemiz gerekiyor. Bunlar, ele alacağımız dört tekniktir:
Temel Bileşen Analizi (PCA), hangi tekniği kullanmanız gerektiğini bilmediğinizde her zaman ilk tercihtir. Bu, birçok veri bilimcinin iş gücüdür ve çoğu zaman uygun bir sonuç verir, ancak başarısız olduğu durumlar da vardır. PCA'nın global bir teknik olduğundan bahsetmiştim. Bu, PCA'nın yalnızca matris çarpımı ile hesaplandığı ve verilerin daha sonra yeni eksene yansıtıldığı anlamına gelir.
Önemli : Yansıtılacak her eksen birbirine diktir. Böylece, projeksiyon eksenleri olarak Şekil 1'den temel kartezyen koordinat sistemini görüntüleyebilirsiniz.
Temel adımlar şunlardır:
92.46+0.00j% explained variance in vector 0 5.30+0.00j% explained variance in vector 1 1.72+0.00j% explained variance in vector 2 0.52+0.00j% explained variance in vector 3
Soldaki grafik, PCA'nın başka bir örneğini göstermektedir. Her kırmızı veri noktasının yeni mavi eksene nasıl yansıtıldığına dikkat edin. Bu, kırmızı noktaların tüm konum bilgilerinin% 96.62'si olarak kalır.
İki farklı kümeye sahip bir veri kümesi kullandım. Boyutu 2B'den 1B'ye düşürdükten sonra, kümeler mavi oka yansıttıktan sonra bile birbirlerinden ayrı kalırlar.
Sonuç : PCA ile verileri yalnızca bir özvektör ekseninde doğrusal olarak yansıtabiliriz. Bunu aklında tut. Bilginin çoğunu doğrusal olarak eşleştirmenin ve yine de korumanın zor olduğu bir 2D veri dağılımını şimdiden hayal edebiliyor musunuz?
Klasik Çok Boyutlu Ölçekleme (MDS) daha da kısa olacaktır çünkü PCA'ya çok benzer. MDS ile PCA arasındaki tek fark, MDS'nin noktalar arasındaki mesafeleri girdi olarak almasıdır. Öklid mesafesi normu MDS için kullanılırsa, PCA'ya % 100 benzer davranır . Bu nedenle MDS, ne kadar varyansın korunduğunu da ölçebilir. Korumanın formülü:
D '(d üssü) indirgenmiş boyut (örneğin 1D) ve d başlangıç boyutu (örneğin 3B) olduğuna dikkat edin. d * (d yıldız) optimum küçültülmüş boyuttur. Tüm hedef boyut varyanslarını toplayabilir ve% 100 varyansla başladığı için bunu çoğunlukla 100'e bölebiliriz.
Gap-Statistics ile ilgili son blog yazımı okuduğunuzda, yukarıdaki rakamın ona ne kadar benzediğini fark ediyorsunuz. Dirsek yöntemi, varyansın azalan boyutsallıkla nasıl küçüldüğünü görselleştirmek için kullanılabilir. X ekseni boyutluluğun azalması anlamına gelir. Örneğin x = 2'de, başlangıç boyutu iki boyut kadar küçültülür ve yine de toplam varyansın yaklaşık% 80'ini koruyoruz. En büyük boşluk, en iyi azaltma sonucumuzun yalnızca iki boyutu küçültmek olabileceğini gösterir , çünkü ilk verileri üç boyuta indirerek çok fazla varyansı kaybediyoruz.
MDS için farklı mesafe ölçümleri kullanırken
Sonuç: Öklid mesafesini kullanırken MDS, PCA ile aynı olduğundan, PCA yerine MDS'yi doğrudan seçebilirsiniz. Ardından, farklı test mesafesi ölçümlerini hızlı bir şekilde kullanabilirsiniz.
Yukarıdaki Şekil 7'deki veri dağılımına bir göz atalım. Bir salyangoz kabuğuna benziyor. Veriyi yeşil ana bileşen hattına (veya MDS hattına) nasıl yansıtırsak yansıtır, asla varyansın çoğunu tutamayız. Yukarıdaki Şeklin sağ kısmı, verilerin ideal olarak yeşil hatta nasıl yansıtılacağını göstermektedir. Bu bizi hiç ileri götürmüyor.
Aynısı çok yüksek boyutlu bir uzay için de geçerliydi. Bir 100D özellik alanının nasıl görüneceğini gerçekten hayal edemiyoruz, ancak aynı ilke geçerlidir. Bazı dağılımlar doğrusal bir boyut indirgeme tekniği ile açıklanamaz.
Bu nedenle, indirgenmiş boyutun, yukarıdaki gibi potansiyel veri kümeleri hakkında sıfır içgörü ortaya koyduğunu gördüğümüzde, PCA veya MDS'nin doğru seçim olmadığından emin olabiliriz.
Yerel boyutluluk azaltmayla başlayalım. Size algoritmayı vereceğim ve sonra açıklayacağım:
Yumurta benzeri veri dağılımını Şekil 8'in çoğunda solda açık bir altlıkla ele alalım. En iyi boyut azaltma haritalaması, verileri yeşil çizgi boyunca yansıtabilirsek olurdu. Veri dağıtımının yerel yapısı korunacaktır. Mor daireler, iki yerel mahallenin bir örneğini göstermektedir .
Bunu şöyle hayal edebilirsiniz:
Bu ideal durumdur. Veri dağıtımı böyle görünüyorsa tamamen işe yarayacaktır. Ancak ISOMAP'ın sorunlu davranışına zaten değindim. Figur 8'deki en sağdaki arsaya yakından bakarsanız, iki yeni mavi veri noktası olduğunu görebilirsiniz. Bunlar gürültülü örnekler nedeniyle orada olabilir. Bu, yeşil çizgi üzerindeki projeksiyonun ölümcül bir değişikliğine yol açar.
Sonuç : ISOMAP, kNN nedeniyle gürültülü örneklere çok duyarlıdır. KNN, her yerel mahalle için yarıçapında değişiklik gösterdiğinden, örneğin, noktalar ne kadar uzakta veya yakın olursa olsun, yerel mahallesinde 5 nokta bulmak istiyor. Bu, sorunları ortaya çıkarır ve Şekil 8'de A noktasından B noktasına bir köprü görevi görür, ancak bu noktaların birbirinden çok uzak olması gerekir.
Ayrıca LE için temel algoritmayı yazmaya başlayacağım ve sonra onu açıklayacağım:
W , ikili afinite matrisini temsil eder. Üst W gürültüsüz bir veri dağılımı iken, alt W bazı yeşil gürültülü örnek noktaları içerir. Gürültülü noktaların tekrar A'dan B'ye bir köprü oluşturmak istediğini görebilirsiniz, ancak afinite matrisi bunun olmasını engeller, çünkü mor yerel komşuluk bağı köşegende çok güçlüdür. Gürültünün Laplacian Eigenmaps üzerinde hiçbir etkisi yoktur. Optimizasyon, yerel mahalleleri mümkün olduğunca birbirine yakın tutmayı amaçlamaktadır (böylece mahalleye göre mümkün olduğunca küçük mesafe).
Bu nedenle, Laplacian Eigenmaps için bir minimizasyon problemi olabilir, ancak PCA, MDS ve ISOMAP için bir maksimizasyon problemi olabilir (bu üçü, verilerin varyans bilgisini maksimize etmek ister).
Sonuç : LE, gürültülü veri dağılımlarına göre daha sağlam olduğundan, bu tür bir çok katlı öğrenmeyi gerçekleştirmek için (= daha düşük boyutlu bir yerleştirmeyi öğrenmek) özünde daha uygundur. Bildiğimiz gibi, verilerde genellikle gürültü var. LE, her durumda ISOMAP'tan daha üstündür.
Son olarak, bazı test örneklerini ele alalım:
[1] Trevor Hastie, Robert Tibshirani ve Jerome Friedman, İstatistiksel Öğrenmenin Unsurları: Veri Madenciliği, Çıkarım ve Tahmin (2009),
Tekrar hoşgeldiniz! Birçok farklı forumda bahsettiğim bir şey, Veri Analistinden Veri Bilimcisine geçiş. Dürüst olmak gerekirse, izlenecek bir plan yok, sır yok, kelimenin tam anlamıyla sadece bildikleriniz ve onu nasıl kullandığınız (tabii ki).
Bu makalenin sonunda şunları yapabileceksiniz: Senaryo Bir biyolog, müzik festivallerinin potansiyel sağlık etkileri konusunda endişeliydi. Müzik İndir Festivali'ne gitti ve festivalin üç günü boyunca konsere giden 810 kişinin hijyenini ölçtü.
Sorumluluk Reddi: Bu makale Spotify ile bağlantılı değildir ve Spotify ve şu anda alakalı olmayabilecek geçmiş yapılar hakkında doğrulanmamış bilgiler içerebilir. Müzik bir ifade biçimi, bir sanat biçimi ve bir bütün olarak kültürel bir etkinliktir.
Sinirbilimden Otomatik Farklılaşmaya, Sinir Ağı Teorisi ve Sinir Süreçlerinde Yetersiz Uyum Halihazırda takip edilmekte olan farklı Derin Öğrenme araştırma akışlarına daha iyi bir genel bakış mı arıyorsunuz? Makul bir şekilde geçemeyecek kadar çok açık arXiv sekmeniz var mı? Tam videoları izlemek için çok mu az zamanınız var? Keşke bir makalenin ana fikrinin ve konseptinin hızlı bir özeti olsaydı. O halde 'Makine Öğrenimi-Kolaj' serisini tanıtmaktan mutluluk duyuyorum.
Grafik Sinir Ağları (GNN'ler), grafik verilerinden öğrenmek için standart bir araç kutusu olarak ortaya çıktı. GNN'ler, içerik önerisi veya ilaç keşfi gibi farklı alanlarda yüksek etkili sorunlar için iyileştirmeler sağlayabilir.
Selam! Bu kısa serinin görüntü bölümleme hakkındaki ilk bölümünü okumadıysanız, lütfen burada okuyun. Eşikleme ve renk segmentasyonunu önceki hikayemde tartıştık, böylece 2. bölümümüz Renk Segmentasyonuna ve Görüntü Farklılaşmasına odaklanacak.