Yakınsama, bir sürecin limitini ifade eder ve bir optimizasyon algoritmasının beklenen performansını değerlendirirken faydalı bir analitik araç olabilir.
Ayrıca, bir optimizasyon algoritmasının öğrenme dinamiklerini ve derin öğrenme sinir ağları gibi bir optimizasyon algoritması kullanılarak eğitilen makine öğrenimi algoritmalarını keşfederken de yararlı bir deneysel araç olabilir. Bu, erken durma gibi öğrenme eğrilerinin ve tekniklerinin araştırılmasını motive eder.
Optimizasyon, aday çözümler üreten bir süreçse, yakınsama, daha fazla değişiklik veya iyileştirme beklenmediği zaman, sürecin sonunda kararlı bir noktayı temsil eder. erken yakınsama sürecin global olarak optimal bir çözümü temsil etmeyen kararlı bir noktada durduğu bir optimizasyon algoritması için bir hata modunu ifade eder.
Bu öğreticide, makine öğreniminde erken yakınsamaya yumuşak bir giriş keşfedeceksiniz.
Bu öğreticiyi tamamladıktan sonra şunları bileceksiniz:
Başlayalım.
Bu eğitim üç bölüme ayrılmıştır; onlar:
yakınsama genellikle zaman içinde davranış eğilimi gösteren bir sürecin değerlerini ifade eder.
Optimizasyon algoritmalarıyla çalışırken faydalı bir fikirdir.
Optimizasyon, bir amaç fonksiyonundan maksimum veya minimum değerle sonuçlanan bir dizi girdi bulmayı gerektiren bir problem tipini ifade eder. Optimizasyon, sürecin sonunda nihai bir çözüme ulaşana kadar bir dizi aday çözüm üreten yinelemeli bir süreçtir.
Sabit noktalı bir nihai çözüme ulaşan optimizasyon algoritmasının bu davranışı veya dinamiği, örneğin optimizasyon algoritmalarının yakınsaması gibi yakınsama olarak adlandırılır. Bu şekilde yakınsama, optimizasyon algoritmasının sonlandırılmasını tanımlar.
Yerel iniş, yinelemeli olarak bir iniş yönü seçmeyi ve daha sonra bu yönde bir adım atmayı ve yakınsama veya bazı sonlandırma koşulları sağlanana kadar bu işlemi tekrarlamayı içerir.
— Sayfa 13, Optimizasyon için Algoritmalar, 2019.
Bir optimizasyon algoritmasının yakınsamasını ampirik olarak ölçebilir ve keşfedebiliriz. öğrenme eğrileri. Ayrıca, yakınsama kanıtı veya ortalama durum hesaplama karmaşıklığı gibi analitik olarak bir optimizasyon algoritmasının yakınsamasını da keşfedebiliriz.
Güçlü seçim baskısı, hızlı ama muhtemelen erken yakınsama ile sonuçlanır. Seçim baskısını zayıflatmak arama sürecini yavaşlatır…
— Sayfa 78, Evrimsel Hesaplama: Birleşik Bir Yaklaşım, 2002.
Optimizasyon ve optimizasyon algoritmalarının yakınsaması, lojistik regresyon ve yapay sinir ağları gibi yinelemeli bir optimizasyon algoritması aracılığıyla bir eğitim veri kümesine uyan (öğrenen) algoritmalar için makine öğreniminde önemli bir kavramdır.
Bu nedenle, diğer algoritmalardan daha iyi yakınsama davranışı ile sonuçlanan optimizasyon algoritmalarını seçebilir veya optimizasyonun hiper parametreleri (örneğin öğrenme oranı) aracılığıyla bir optimizasyon algoritmasının yakınsama dinamiklerini (öğrenme dinamikleri) ayarlamak için çok zaman harcayabiliriz.
Yakınsama davranışı, genellikle yakınsamaya kadar gereken bir algoritmanın yineleme sayısı açısından, yakınsamada bulunan kararlı noktanın amaç fonksiyonu değerlendirmesi ve bu endişelerin kombinasyonları açısından karşılaştırılabilir.
Erken yakınsama, çok erken gerçekleşen bir sürecin yakınsamasını ifade eder.
Optimizasyonda, beklenenden daha kötü performansa sahip kararlı bir noktaya yaklaşan algoritmayı ifade eder.
Erken yakınsama tipik olarak, amaç fonksiyonunun dışbükey olmadığı, yani yanıt yüzeyinin belki bir (veya birkaç) en iyi çözümle birlikte birçok farklı iyi çözüm (kararlı nokta) içerdiği anlamına gelen karmaşık optimizasyon görevlerini etkiler.
Optimizasyon altındaki bir amaç fonksiyonunun yanıt yüzeyini geometrik bir manzara olarak düşünürsek ve fonksiyonun minimumunu arıyorsak, erken optimizasyon, en derin vadiden daha az derinliğe sahip aramanın başlangıç noktasına yakın bir vadi bulma anlamına gelir. sorun alanında.
Son derece çok modlu (sağlam) uygunluk manzaraları veya zamanla değişen manzaralar sergileyen problemler için, çok fazla istismar genellikle uzaydaki optimal olmayan zirvelere erken yakınsama ile sonuçlanır.
— Sayfa 60, Evrimsel Hesaplama: Birleşik Bir Yaklaşım, 2002.
Bu şekilde, erken yakınsama, bir optimizasyon algoritması için global olarak optimal çözüm yerine yerel olarak optimal bir çözüm bulmak olarak tanımlanır. Bir optimizasyon algoritması için özel bir başarısızlık durumudur.
Başka bir deyişle, yakınsama arama sürecinin sonunu ifade eder, örneğin sabit bir noktanın bulunması ve algoritmanın daha fazla yinelenmesinin çözüm üzerinde iyileştirme yapması olası değildir. Erken yakınsama, bir optimizasyon algoritmasının bu durma koşuluna arzu edilen durağan noktadan daha az bir noktada ulaşılması anlamına gelir.
Erken yakınsama, makul derecede zorlu herhangi bir optimizasyon görevinde ilgili bir endişe olabilir.
Örneğin, evrimsel hesaplama ve genetik algoritmalar alanındaki araştırmaların çoğu, bir optimizasyon görevinde algoritmanın erken yakınsamasının tanımlanmasını ve üstesinden gelinmesini içerir.
Seçim en uygun bireylere odaklanırsa, seçim baskısı yeni popülasyonların çeşitliliğinin azalması nedeniyle erken yakınsamaya neden olabilir.
— Sayfa 139, Hesaplamalı Zeka: Bir Giriş, 2. baskı, 2007.
Evrimsel algoritmalar ve sürü zekası gibi popülasyona dayalı optimizasyon algoritmaları, dinamiklerini genellikle seçici baskılar ve yakınsama arasındaki etkileşim açısından tanımlar. Örneğin, güçlü seçici baskılar daha hızlı yakınsama ve muhtemelen erken yakınsama ile sonuçlanır. Daha zayıf seçici baskılar daha yavaş bir yakınsama (daha büyük hesaplama maliyeti) ile sonuçlanabilir, ancak belki de daha iyi veya hatta küresel bir optimumu tespit edebilir.
Yüksek seçici basınca sahip bir operatör, popülasyondaki çeşitliliği düşük seçici basınca sahip operatörlere göre daha hızlı azaltır ve bu da optimal olmayan çözümlere erken yakınsamaya neden olabilir. Yüksek bir seçici baskı, popülasyonun keşif yeteneklerini sınırlar.
— Sayfa 135, Hesaplamalı Zeka: Bir Giriş, 2. baskı, 2007.
Bu seçici baskı fikri, daha genel olarak optimizasyon algoritmalarının öğrenme dinamiklerini anlamada yardımcı olur. Örneğin, çok açgözlü olacak şekilde yapılandırılmış bir optimizasyon (örneğin adım boyutu veya öğrenme hızı gibi hiperparametreler aracılığıyla) erken yakınsama nedeniyle başarısız olabilirken, daha az açgözlü olacak şekilde yapılandırılmış aynı algoritma erken yakınsamanın üstesinden gelebilir ve bir daha iyi veya küresel olarak en uygun çözüm.
Bir sinir ağı modelini eğitmek için stokastik gradyan inişi kullanıldığında erken yakınsama ile karşılaşılabilir; bu, katlanarak hızla düşen ve ardından gelişmeyi durduran bir öğrenme eğrisi ile gösterilir.
Yakınsamaya ulaşmak için gereken güncelleme sayısı genellikle eğitim seti boyutuyla artar. Bununla birlikte, m sonsuza yaklaştıkça, model sonunda SGD eğitim setindeki her örneği örneklemeden önce mümkün olan en iyi test hatasına yakınsar.
— Sayfa 153, Derin Öğrenme, 2016.
Sinir ağlarını uydurmanın erken yakınsamaya tabi olması gerçeği, bir eğitim veri kümesindeki bir modelin yakınsaması ile ilgili sorunları izlemek ve teşhis etmek için öğrenme eğrileri gibi yöntemlerin kullanımını ve aşağıdakiler gibi düzenlileştirmenin kullanımını motive eder. erken durmakararlı bir nokta bulmadan önce optimizasyon algoritmasını durduran , bir bekleme veri kümesinde daha kötü performans pahasına gelir.
Bu nedenle, derin öğrenme sinir ağlarına yönelik pek çok araştırma, nihayetinde erken yakınsamanın üstesinden gelmeye yöneliktir.
Ampirik olarak, ‘tanh’ aktivasyon fonksiyonlarının, eğitim algoritmalarının lojistik fonksiyonlardan daha hızlı yakınsamasına yol açtığı sıklıkla bulunur.
— Sayfa 127, Örüntü Tanıma için Sinir Ağları, 1995.
Bu, bir sinir ağının başlangıç ağırlıkları optimizasyon sürecinin başlangıç noktasını tanımladığı ve zayıf başlatma erken yakınsamaya yol açabileceği için kritik olan ağırlık başlatma üzerinde çalışma gibi teknikleri içerir.
Başlangıç noktası, algoritmanın yakınsayıp yakınsayamayacağını belirleyebilir, bazı başlangıç noktaları o kadar kararsızdır ki, algoritma sayısal zorluklarla karşılaşır ve tamamen başarısız olur.
— Sayfa 301, Derin Öğrenme, 2016.
Bu aynı zamanda, algoritmanın optimumu (kararlı nokta) aşmaması için momentum eklenmesi ve otomatik olarak uyarlanmış bir adım boyutu hiperparametresi ekleyen Adam gibi stokastik gradyan iniş optimizasyon algoritmasının çok sayıda varyasyonunu ve uzantısını içerir (öğrenme oranı) optimize edilmekte olan her parametre için yakınsama önemli ölçüde hızlanır.
Daha derine inmek istiyorsanız, bu bölüm konuyla ilgili daha fazla kaynak sağlar.
Bu öğreticide, makine öğreniminde erken yakınsamaya yumuşak bir giriş keşfettiniz.
Özellikle şunları öğrendiniz:
Sormak istediğiniz bir şey var mı?
Sorularınızı aşağıdaki yorumlarda sorun, cevaplamak için elimden geleni yapacağım.