Derin öğrenme (DL) modelleri, bilgisayarla görmedeki birçok görev için en yaygın yöntemlerdir. DL, büyük miktarda etiketli veri kullanarak muazzam sonuçlar elde eder. Bununla birlikte, bilgisayarla görme görevleri daha karmaşık hale geldikçe, DL ağı büyür ve parametre sayısı artar, bu da ağı eğitmek için daha fazla etiketli veri gerektirir.
Bu neden bir problem?
DL'de aktif öğrenmenin amacı, daha az veriye sahip bir modeli eğitmek - daha ucuz açıklama bütçesi ve daha kısa eğitim döngüsü - ve benzer performans elde etmektir.
Bu yazıda, aktif öğrenmenin ne olduğunu açıklayacağım, bazı ortak yöntemleri, artılarını ve eksilerini paylaşacağım ve bazı kişisel görüşler ekleyeceğim.
Aktif öğrenme nedir? Aktif öğrenme, açıklama eklenecek sonraki örnekleri seçmek için farklı yöntemler (aşağıda açıklanmıştır) kullanan sürekli bir eğitim hattıdır. Seçim süreci, genellikle yapıldığı gibi rastgele bir seçim sürecinden ziyade bilgilendirilir (Şekil 3 (b)).
Nasıl yapabiliriz? Aktif öğrenme yöntemleri, etiketlenmemiş resim setimizden en bilgilendirici ve temsili resimlerin bir alt kümesini seçmeyi amaçlamaktadır. Bu şekilde, daha küçük veri setlerini kullanırken daha yüksek model doğruluğu elde edebiliriz.
Aktif öğrenme yöntemleri üç ana kategoriye ayrılabilir [1]:
Tecrübelerime göre, aktif öğrenme yöntemleri göreve özgü veya göreve-agnostik olarak da bölünebilir . Birkaç görev içeren bir ardışık düzenim varsa, tüm modeller için kullanılacak görevden bağımsız bir yöntem bulmayı tercih edebilirim. Aksine, sonuçlarımı büyük ölçüde iyileştiren, belirli bir göreve özgü harika bir yöntem bulmuş olabilirim. Bu durumda, birkaç farklı yöntemi sürdürmeye değer olabilir.
Belirsizlik yöntemleri, modelin çıktısından en emin olmadığı görüntüleri seçmeyi amaçlar. Bu nedenle, çoğu belirsizlik yöntemi modele bağlıdır ve her yeni model için eğitilmesi veya ayarlanması gerekir.
Belirsizliği doğrudan çıktıdan ölçmenin en kolay yolu, çıkarımda bir bırakma katmanı kullanmaktır (Monte Carlo Bırakma olarak da adlandırılır). Çıkarsamada bırakma kullanıldığında, tahminlerimiz artık deterministik değil, rastgele bırakılan düğümlere bağlı. Bu nedenle, görüntü çıktısının belirsizliği, T farklı tahminlerin varyansı hesaplanarak tahmin edilebilir (daha fazla bilgi için bkz. [9] ve örneğin bölümleme görevi hakkında [6] 'ya bakın).
Belirsizlik ölçüsünü elde etmek için farklı bir yaklaşım, ek paralel dallar ekleyerek belirsizlik tahminini ağa dahil etmektir.
Daha sonra, bu yaklaşımı kullanan iki yöntemi açıklayacağım, bir yöntem göreve özgü ve diğeri görevden bağımsızdır.
Göreve özgü [1] - Görüntü bölümleme görevleri için özeldir . Sınırlayıcı kutudaki belirsizliğe odaklanır ve tahminleri maskeler.
Ağın algılama başlığına ve maske başlığına iki paralel dal eklenir (Şekil 4 - mavi ağ dalında). Her daldan elde edilen çıktı, öngörülen sınırlayıcı kutu ile hedef kutunun kesişimini (IoU) ve tahmin edilen maske ve hedef maskenin IoU'sunu tahmin eden bir değerdir. Nihai tahmin puanı, IoU tahminlerinin ve sınıflandırma puanının bir kombinasyonudur. Puan ne kadar düşükse belirsizlik o kadar yüksek olur.
Görev agnostik [2] - Kullandığımız mevcut herhangi bir ağa eklenebilir. Amaç, ağın kaybını tahmin etmeyi öğrenmektir. Kayıp ne kadar yüksekse, ağ çıktıda o kadar belirsizdir.
Çeşitlilik yöntemleri, veri dağıtımımızı temsil edecek şekilde açıklamasız kümemizden bir alt küme seçmeyi amaçlar. Gereksiz örneklerle sonuçlanabilecek belirsizlik yöntemlerinin aksine, çeşitlilik yaklaşımı seçilen verileri tüm dağıtım boyunca yaymaya çalışır.
Çeşitlilik yöntemleri, görüntü özellikleri arasındaki benzerliği ölçer ve çeşitli durumları örneklemeye vurgu yaparak tüm veri dağılımını temsil edecek şekilde açıklamasız görüntülerin bir alt kümesini çıkarır.
Basit bir yol, evrişim sinir ağlarından çıkarılan özellikler arasındaki mesafeyi ölçmektir. Ardından, diğer açıklamasız görüntülere benzeyen ve çeşitli durumları kapsayan görüntüler seçilecektir (daha fazla bilgi için [5] 'e bakın).
Farklı bir yol, Değişken Otomatik Kodlayıcı kullanmak ve istenen olasılık dağılımına sahip gizli bir alana bir eşleme işlevi öğrenmektir. Ardından, açıklamasız yeni bir veri grubu için, gizli alana eşleme dağılımı öğrenilen dağılıma benzer olan bir alt küme oluşturun (daha fazla bilgi için [3] 'e bakın).
Görüldüğü gibi, kategorilerin her birinin kendi artıları ve eksileri vardır. Neden onları birleştirip ikisinin de tadını çıkarmayasınız? Bir sonraki yazıda, daha da iyi sonuçlar elde etmek için her iki yaklaşımın avantajlarından nasıl yararlanılacağına değineceğim. Şimdilik, [3] ve [6] 'ya bir göz atabilir ve aktif bir öğrenci olmaya başlayabilirsiniz!
[1] Puanlama Tahminleri ile Bulut Sunucusu Segmentasyonu için Yarı Denetimli Aktif Öğrenme
[2] Aktif öğrenme için öğrenme kaybı
[3] Bayes Örnek Sorgulara Dayalı Segmentasyon için Aktif Öğrenme
[4] Örneklemeyi Öğrenme: Aktif Öğrenme Çerçevesi
[5] Müstehcen ek açıklama: Biyomedikal görüntü segmentasyonu için derin ve aktif bir öğrenme çerçevesi
[6] Melanom segmentasyonu için uygun maliyetli aktif öğrenme
[7] Bayesci Bir Yaklaşım Olarak Bırakma: Derin Öğrenmede Model Belirsizliğini Temsil Etme
[8] Derin Bayes Aktif learnin Model belirsizlik için Bayes Katman Konumlama The Uygunluk g
[9] Bayesci Bir Yaklaşım Olarak Bırakma: Derin Öğrenmede Model Belirsizliğini Temsil Etme
Zeta Alpha'dan aylık ML makaleleri seçkisi: Ses oluşturma, Backprop'suz Gradyanlar, Uzmanların Karışımı, Çok Modluluk, Bilgi Alma ve daha fazlası. Mart ayı yapay zeka dünyasındaki gelişmelerle dolu olarak geldi: hemen arkamızda WSDM konferansı ve AAAI'nin de henüz sona ermiş olması gibi yayınlar ve konferanslar gelmeye devam ediyor.
Bilgisayarla görü mühendisleri olarak, bir arkadaşım ve ben, aynı anda birden fazla beceriyi geliştirmek için etkili ve zaman kazandıran yeni bir yol düşünüyorduk. GitHub'da bilgisayarla görme kağıtlarını uygulama fikrini bulduk.
Bu makalenin bir okumasını dinleyin: ❖ Tüm yaşamları boyunca çok önemli bir şey hakkında yanlış yönlendirilmiş kahramanlar hakkında hikayeler nesillerdir kültürümüzde ortaya çıkıyor ve bu güne kadar gişede izleyicileri memnun etmeye devam ediyor. Yoksul gerçekten bir prensti.
Bu ay tüm yeni abonelerimize ve yazarlarımıza sıcak bir karşılama; sürülerinizde ortaya çıkıyorsunuz ve bunun için size teşekkür ediyoruz. Burada harika bir topluluk oluşturuyoruz ve yorumlarınızı ve makalelerinizi okumak harika.
İnsanlar sanata çekilir. On yıldan fazla bir süredir araştırmacılar, izleme sanatının sağlığımız ve esenliğimiz üzerindeki olumlu etkisini araştırıyorlar.
asla kırılmayan, kendi yolunu bulan, ateşle şıngırdayan, her zaman inanmak isteyen, başka her şey neden önemli olsun ki, her şey bir yolunu bulup dururken, yavaş yavaş kalbimi veren türden. Bir yabancıya, hiç ayrılmak istemeyeceklerini umarak, umarım yeterli olur, her şey zorlaştığında ve umarım bir gün, o kadar da sert olmadığımı bilerek, kendimi yeterli bulurum. gerçekten blöf dediğim bu 'korkusuz Varlık'ta.