Daha Güvenilir Tahminler İçin Yapay Zekada Kısayol Çözümlerinden Kaçınmak
Yeni bir yöntem, bir makine öğrenimi modelini bir görevi öğrenirken daha fazla veriye odaklanmaya zorlar ve bu da daha güvenilir tahminlere yol açar.
Uber sürücünüz bir kısayol kullanırsa hedefinize daha hızlı ulaşabilirsiniz. Ancak bir makine öğrenimi modeli bir kestirme yol alırsa, beklenmedik şekillerde başarısız olabilir.
Makine öğreniminde, model karar vermek için verilerin gerçek özünü öğrenmek yerine bir veri kümesinin basit bir özelliğine dayandığında bir kısayol çözümü ortaya çıkar ve bu da hatalı tahminlere yol açabilir. Örneğin, bir model, ineklerin daha karmaşık şekilleri ve desenleri yerine fotoğraflarda görünen yeşil çimenlere odaklanarak ineklerin görüntülerini tanımlamayı öğrenebilir.
Araştırmacılar tarafından yeni bir çalışma İLE BİRLİKTE popüler bir makine öğrenimi yöntemindeki kısayollar sorununu araştırıyor ve modeli karar verme sürecinde daha fazla veri kullanmaya zorlayarak kısayolları önleyebilecek bir çözüm öneriyor.
Araştırmacılar, modelin odaklandığı daha basit özellikleri ortadan kaldırarak, onu verilerin dikkate almadığı daha karmaşık özelliklerine odaklanmaya zorlar. Ardından, modelden aynı görevi iki şekilde çözmesini isteyerek – bir kez bu daha basit özellikleri kullanarak ve ardından şimdi tanımlamayı öğrendiği karmaşık özellikleri kullanarak – kısayol çözümleri eğilimini azaltır ve modelin performansını artırır.
Bu çalışmanın olası bir uygulaması, tıbbi görüntülerde hastalıkları tanımlamak için kullanılan makine öğrenimi modellerinin etkinliğini artırmaktır. Bu bağlamdaki kısayol çözümleri yanlış tanılara yol açabilir ve hastalar için tehlikeli sonuçlar doğurabilir.
“Derin ağların aldıkları kararları neden aldıklarını ve özellikle bu ağların bir karar verirken verilerin hangi bölümlerine odaklanmayı seçtiğini söylemek hala zor. Kısayolların nasıl çalıştığını daha ayrıntılı olarak anlayabilirsek, bu ağları dağıtmaya çalışan insanlar için gerçekten önemli olan bazı temel ama çok pratik soruları yanıtlamak için daha da ileri gidebiliriz” diyor doktora öğrencisi Joshua Robinson. Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) ve makalenin baş yazarı.
Robinson makaleyi danışmanları, kıdemli yazar Suvrit Sra, Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS) Bölümü’nde Esther ve Harold E. Edgerton Kariyer Geliştirme Doçenti ve Veri, Sistemler ve Toplum Enstitüsü’nün çekirdek üyesi ile birlikte yazdı. (IDSS) ve Bilgi ve Karar Sistemleri Laboratuvarı; ve EECS’de X-Consortium Kariyer Geliştirme Doçent ve CSAIL ve IDSS üyesi Stefanie Jegelka; Pittsburgh Üniversitesi’nden yardımcı doçent Kayhan Batmanghelich ve doktora öğrencileri Li Sun ve Ke Yu’nun yanı sıra. Araştırma, Aralık ayında Nöral Bilgi İşleme Sistemleri Konferansı’nda sunulacak.
Kısayolları anlamanın uzun yolu
Araştırmacılar, çalışmalarını kendi kendini denetleyen makine öğreniminin güçlü bir biçimi olan karşılaştırmalı öğrenmeye odakladılar. Kendi kendini denetleyen makine öğreniminde, insanlardan etiket açıklamaları olmayan ham veriler kullanılarak bir model eğitilir. Bu nedenle, daha geniş bir veri çeşitliliği için başarıyla kullanılabilir.
Kendi kendini denetleyen bir öğrenme modeli, görüntü sınıflandırma gibi farklı görevler için girdi olarak kullanılan verilerin faydalı temsillerini öğrenir. Ancak model kısayollar alır ve önemli bilgileri yakalayamazsa, bu görevler de bu bilgileri kullanamaz.
Örneğin, kendi kendini denetleyen bir öğrenme modeli, birkaç hastaneden alınan X-ışınlarında pnömoniyi sınıflandırmak için eğitilirse, ancak taramanın geldiği hastaneyi tanımlayan bir etikete dayalı olarak tahminlerde bulunmayı öğrenirse (çünkü bazı hastanelerde daha fazla pnömoni vardır). durumlarda), model yeni bir hastaneden veri verildiğinde iyi performans göstermez.
Karşılaştırmalı öğrenme modelleri için, benzer girdi çiftleri ile farklı girdi çiftleri arasında ayrım yapmak için bir kodlayıcı algoritması eğitilir. Bu süreç, görüntüler gibi zengin ve karmaşık verileri, karşılaştırmalı öğrenme modelinin yorumlayabileceği şekilde kodlar.
Araştırmacılar, bir dizi görüntü ile karşılaştırmalı öğrenme kodlayıcılarını test ettiler ve bu eğitim prosedürü sırasında onların da kısayol çözümlerine kurban gittiklerini buldular. Kodlayıcılar, hangi girdi çiftlerinin benzer ve hangilerinin farklı olduğuna karar vermek için bir görüntünün en basit özelliklerine odaklanma eğilimindedir. Jegelka, ideal olarak kodlayıcının bir karar verirken verilerin tüm yararlı özelliklerine odaklanması gerektiğini söylüyor.
Bu nedenle ekip, benzer ve benzemez çiftler arasındaki farkı söylemeyi zorlaştırdı ve kodlayıcının bir karar vermek için bakacağı bu özelliklerin değiştiğini buldu.
“Benzer ve benzemeyen öğeleri ayırt etme görevini giderek zorlaştırırsanız, sisteminiz verilerdeki daha anlamlı bilgileri öğrenmeye zorlanır, çünkü bunu öğrenmeden görevi çözemez” diyor.
Ancak bu zorluğun artması bir değiş tokuşla sonuçlandı – kodlayıcı verilerin bazı özelliklerine odaklanmada daha iyi hale geldi, ancak diğerlerine odaklanmada daha da kötüleşti. Robinson, daha basit özellikleri neredeyse unutmuş gibiydi.
Bu değiş tokuştan kaçınmak için, araştırmacılar kodlayıcıdan, daha basit özellikleri kullanarak ve ayrıca araştırmacıların zaten öğrendiği bilgileri çıkardıktan sonra, başlangıçta olduğu gibi çiftler arasında ayrım yapmasını istedi. Görevin her iki şekilde aynı anda çözülmesi, kodlayıcının tüm özelliklerde iyileşmesine neden oldu.
Örtük özellik modifikasyonu olarak adlandırılan yöntemleri, kodlayıcının çiftler arasında ayrım yapmak için kullandığı daha basit özellikleri kaldırmak için örnekleri uyarlamalı olarak değiştirir. Sra, tekniğin insan girdisine dayanmadığını, bunun önemli olduğunu, çünkü gerçek dünyadaki veri kümelerinin karmaşık şekillerde birleştirilebilecek yüzlerce farklı özelliğe sahip olabileceğini açıklıyor.
Arabalardan KOAH’a
Araştırmacılar, araçların görüntülerini kullanarak bu yöntemin bir testini yaptılar. Kodlayıcının benzer ve farklı görüntü çiftleri arasında ayrım yapmasını zorlaştırmak için rengi, yönü ve araç türünü ayarlamak için örtük özellik modifikasyonu kullandılar. Enkoder gelişmiş kesinlik doku, şekil ve renk gibi üç özelliğin tamamında aynı anda.
Yöntemin daha karmaşık verilere dayanıp dayanamayacağını görmek için araştırmacılar, onu kronik obstrüktif akciğer hastalığının (KOAH) tıbbi bir görüntü veri tabanından alınan örneklerle de test ettiler. Yine yöntem, değerlendirdikleri tüm özelliklerde eşzamanlı iyileştirmelere yol açtı.
Bu çalışma, kestirme çözümlerin nedenlerini anlamak ve bunları çözmek için çalışmak için bazı önemli adımlar atarken, araştırmacılar bu yöntemleri iyileştirmeye devam etmenin ve bunları diğer kendi kendini denetleyen öğrenme türlerine uygulamanın gelecekteki ilerlemelerin anahtarı olacağını söylüyorlar.
“Bu, derin öğrenme sistemleriyle ilgili ‘Neden başarısız oluyorlar?’ gibi en büyük sorulardan bazılarıyla bağlantılı. ve ‘Modelinizin başarısız olacağı durumları önceden bilebilir miyiz?’ Kısayol öğrenimini genel olarak anlamak istiyorsanız, daha gidilecek çok yol var,” diyor Robinson.
Referans: “Karşılaştırmalı öğrenme kısayol çözümlerinden kaçınabilir mi?” Joshua Robinson, Li Sun, Ke Yu, Kayhan Batmanghelich, Stefanie Jegelka ve Suvrit Sra, 21 Haziran 2021, Bilgisayar Bilimi > Makine Öğrenimi.
arXiv:2106.11230
Bu araştırma, Ulusal Bilim Vakfı, Ulusal Sağlık Enstitüleri ve Pennsylvania Sağlık Bakanlığı’nın SAP SE Commonwealth Evrensel Araştırma Geliştirme (CURE) programı tarafından desteklenmektedir.
.