Yazan: Edward Krueger ve Douglas Franklin .
Bu makale, sınıflarımızdan biriyle yaptığımız veri bilimi yarışmasını tartışacak. En iyi puan alan beş modeli ve bunların karmaşıklığını tartışacağız.
Buradaki zorluk, balık ağırlığını tahmin eden bir makine öğrenme modeli oluşturmaktır. Modeli en düşük ortalama kare hataya (MSE) sahip olan öğrenci kazanan ilan edilecektir!
Merhaba! Tokyo, Japonya'nın ünlü Tsukiji balık pazarına hoş geldiniz! Buraya sahip oldukları balıklarla ilgili veri toplamaya geldik, ancak ton balığı müzayedesi için sabah 5'te uyanmadık. Ortaya çıktığımızda sadece birkaç balık türü kalmıştı. Kalan balıklardan ölçümler topladık ve bu özellikleri kullanarak bir balığın ağırlığını tahmin etmek için bir regresyon modeli eğitmenizi istiyoruz.
Verilerin% 30'unu tutacağız ve bu csv'yi puanlama için kullanacağız. Öğrencileri, modellerinin bu saf veriler üzerinde ağırlığı tahmin etmede ne kadar iyi performans gösterdiğine göre sıralayacağız. Dereceler, Ortalama-kare Hatasına göre derecelendirilerek belirlenecektir.
Bu tek seferlik bir yarışmadır. Hiçbir model ince ayarına izin verilmeyecektir. Yani bir model göndermek için tek bir şans var ve onu henüz görmediği uzatma verileriyle ölçeceğiz.
İşte balık verilerimiz. Eğitim veri setinde 112 satırda yedi özellik vardır.
Balık uzunluğu ölçüleri aşağıdaki diyagramda gösterilmektedir. Bununla 1-3 arası uzunlukları anlayabiliriz.
Yükseklik, balığın en kalın yerinden omurgasına kadardır. Genişlik bir çevre ölçüsüdür. Ağırlık gram cinsindendir ve uzunluklar santimetredir. İlgilendiğiniz takdirde işte veri setine bir bağlantı!
En iyi 5 öğrenci modeline (MSE tarafından derecelendirilir) ve metodolojilerine bakalım.
Öğrencilerimiz, sadece bir haftalık makine öğrenimi müfredatından sonra bile bazı yaratıcı çözümler buldular! İlk beş modelin hepsinin ya karar ağaçları ya da rastgele ormanlar ve doğrusal regresyon modelleri olduğunu belirtmek gerekir. Bu modeller nispeten basittir ve güçlü bir önyargıya sahiptir. Doğrusal regresyon, doğrusal bir problem olduğunu varsayar. Karar ağaçları daha esnektir ve adım adım işlev görür. Karar ağaçları genellikle eğitim verilerinin üzerine çıkar, ancak rastgele ormanlar bir model oluştururken bu riski azaltabilir.
Şimdi en iyi beş öğrenci modelimizi görelim!
5. sıradaki yarışmacımız bazı ek özelliklerle birlikte bir karar ağacı kullandı. Bu eklenen özelliklerden biri, bir elipsoidin hacmiydi. Bu geometrik özellik, bir balığın şeklini yakalamaya çalışır.
Bu öğrenci ayrıca bir gradyan güçlendirici kullanmayı seçti. Gradyan artırma, bir karar ağaçları topluluğu içinde bir tahmin modeli üreten bir tekniktir. Buna gradyan destekli ağaçlar denir ve genellikle rastgele ormanlardan daha iyi performans gösterir. Modeli, diğer artırma yöntemlerinin yaptığı gibi aşama bazında oluşturur ve rastgele bir türevlenebilir kayıp fonksiyonunun optimizasyonuna izin vererek bunları genelleştirir .
Bu öğrencinin ek bir geometrik özelliğe sahip gradyanı artırılmış ağacı, 2659 MSE puanı alarak onlara en iyi 5 bitişini kazandırdı.
Dördüncü sıradaki öğrencimiz belki de en zarif çözümü kodladı. Bu öğrenci, 2332'lik bir MSE üretmek için orijinal özellikleri doğrusal bir regresyon modeline besledi. Bu uygulaması kolay ve anlaşılır model, öğrenci modellerinin% 90'ından daha iyi performans göstererek 4. sırayı aldı!
Genellikle karmaşık olmayan bir makine öğrenimi modeli olarak düşünülen doğrusal regresyon asla küçümsenmemelidir.
Üçüncü sıradaki sonlandırıcı, bazı ek özelliklerle doğrusal bir regresyon modeli oluşturdu ve LassoCV kullandı. Ek özellikler, uzunluklar arasındaki farklar ve uzunluklar için ikinci dereceden terimlerdir.
Lasso regresyon, büzülme kullanan bir tür doğrusal regresyondur. Büzülme, değerlerin merkezi bir noktaya doğru küçültülmesidir. Kement prosedürü, daha az parametresi olan modelleri teşvik eder.
Bu belirli regresyon türü, yüksek düzeyde çoklu bağlantı gösteren modeller için çok uygundur (balık verilerimiz gibi!). Kement regresyonu, otomatik bir endojen en iyi alt küme seçiminin ek avantajına sahiptir. Egzersiz verilerinize birçok ek özellik eklerken bu otomatik özelliğe sahip olmak güzel!
Bu öğrencinin LassoCV ile doğrusal regresyon modeli, 2163'lük bir MSE üretti ve üçüncü sırada bitirdi.
İkinci sıradaki öğrencimiz ayrıca doğrusal bir regresyon modeli kullandı ve balıkların şekillerini yakalamak için birkaç geometrik özellik ekledi. Eklenen üç değişken h * w ve l3 ** 2 ve (l3 ** 2) * h * w idi. Bu değişkenler, balık boyunca baştan kuyruğa dikdörtgen bir düzlemi, l3 boyunca kare bir düzlemi ve tüm balığın etrafındaki bir kutuyu temsil eder.
Bazı geometrik mantığa sahip bu basit model, 2034 MSE ve ikinci sırada bitirdi!
* Dramatik davul rulosu *
İlk bitiricimiz bir izolasyon ormanı kullandı. İzolasyon ormanı, aykırı değerleri izole etme ilkesine göre çalışan bir anormallik algılama algoritmasıdır. Aykırı değerlerin kaldırılması, muhtemelen bu modeli ilk sıraya yükselten temel özelliktir! Aykırı değerleri eğitim setinden ayırarak, bu öğrenci akranlarından daha doğru bir model oluşturdu.
Bu öğrenci ayrıca ekstra ağaç gerileyici kullandı. Bu regresör, rastgele karar ağaçları oluşturur, ardından tahmin doğruluğunu iyileştirmek ve aşırı uydurmayı kontrol etmek için ortalamayı kullanır.
Bu model, diğer ilk 5 bitiriciden çok daha düşük olan 802 MSE puanına sahipti!
Burada kullanılan tüm modellerin nispeten basit olduğuna dikkat edin. En iyi modellerin beşi de çok fazla esnekliğe izin vermiyor. Bu, bu problem için iyidir çünkü balık büyüklüğü ile kütlesi arasında doğrusal bir ilişki olduğunu varsayabiliriz. Belli bir esneklik noktasını geçtikten sonra, yeni verilerde düşük performans gösteren modeller elde edeceksiniz.
Öğrenciler, bir rekabet ortamında, özellikle de modelleri eğitmek için verilerin% 100'ü verildiğinde ve çoklu teslim denemeleri verildiğinde, modelleri genellikle aşırı mühendislik (ve aşırı uydurma) yapacaklardır. Verilerin% 30'unu saklayarak ve yalnızca bir gönderime izin vererek, bu davranışı azaltmaya çalıştık.
Karmaşık modeller doğaları gereği daha iyi modeller değildir. Karmaşık modeller, yeni verilerle test edildiğinde genellikle daha basit olanlardan daha kötü performans gösterir. Örneğin 4. yer modelimizi ele alalım. En az mühendislik gerektiriyordu. Orijinal özelliklerle basit doğrusal regresyon! Ekstra özellikleri tasarlamak veya modeli çeşitli regresörlerle optimize etmek için fazladan zaman harcanmadı ve bu model, sınıfın% 90'ından daha iyi performans gösterdi.
Yasal Uyarı: Bu makale yalnızca eğitim amaçlıdır. Kimseyi web sitelerini, özellikle de bu tür eylemlere karşı hüküm ve koşulları olabilecek web mülklerini kazımaya teşvik etmiyoruz.
Zeta Alpha'dan aylık ML makaleleri seçkisi: Ses oluşturma, Backprop'suz Gradyanlar, Uzmanların Karışımı, Çok Modluluk, Bilgi Alma ve daha fazlası. Mart ayı yapay zeka dünyasındaki gelişmelerle dolu olarak geldi: hemen arkamızda WSDM konferansı ve AAAI'nin de henüz sona ermiş olması gibi yayınlar ve konferanslar gelmeye devam ediyor.
Bu blogda, İngilizce'ye yaklaşımımı nasıl ve neden değiştirmeye karar verdiğimi ve yaptığım bazı etkinliklerden para kazanarak bir yıldan kısa bir sürede fakir bir B1'den başlayarak B2 seviyesine nasıl geldiğimi tartışacağım. İçindekiler Okulda örnek bir öğrenci olmasam da İngilizce öğrenmek her zaman kültürel geçmişime eklemek istediğim bir şeydi.
"Bozulma" terimi, nedensel mekanizma bilinmediğinde kullanılır ve bireyin altta yatan bilişinde ve nörobiyolojisinde bir işlev bozukluğunu ima eder. 1952'de, DSM 1, klinik kullanım için zihinsel bozuklukları kategorize eden APA Adlandırma ve İstatistik Komitesi tarafından yayınlandı.
Bugün farklı bir yolculuğa çıkıyoruz. Çoğunlukla resimler.