Yapay sinir ağlarında, aktivasyon işlevi, nöronun çıktısını belirlemede önemli bir rol oynar. Daha gerçekçi görünmesi için, aktivasyon işlevini, sinyali diğer bağlı nöronlara ateşleyen biyolojik nöronlarla karşılaştırabiliriz.
Temel olarak, aktivasyon fonksiyonu 0 ile 1 arasındaki bir çıktı değerini eşler. Nöronun bir ölçekle sınırlı olmayan bir değeri olduğundan, ne zaman ateşleneceğini belirsiz hale getirir. Böylece nöronlardan gelen bu değer, ne zaman ateşleneceğini anlamak için (biyolojik nöronlarda olduğu gibi) bir ölçeğe eşlenir.
Yapay nöronu basit bir doğrusal işlev veya afin işlev olarak düşünmek.
W bir nöronun ağırlığı olduğunda, x bir girdi ve b önyargı değeridir. Şimdi yukarıda bahsedildiği gibi, y ölçeğe bağlı değildir.
Şimdi aktivasyon işlevinin rolü geliyor. Bu, 0 ile 1 arasında ölçeklenecek şekilde eşleştiğinden, nöronun "aktive" olup olmadığını veya "aktive edilmediğini" biliyoruz.
Ayrıca, doğrusal fonksiyon 2 tipte olabilir
Bu işlev, çıktının haritalanmasında herhangi bir fark yaratmaz ve gerçek dünyadaki sorunların çoğu doğası gereği doğrusal değildir, bu nedenle derin öğrenme uygulamalarında kullanılmaz.
Doğrusal olmayan aktivasyon fonksiyonları, derin öğrenme uygulamasında yaygın olarak kullanılmaktadır, çünkü bu, değerleri 0 ila 1 genel durumdaki belirli aralıklarla sınırlama amacına hizmet eder ve modelin, öğrenme ve modellemenin önemli bir parçası olan karmaşık eşlemeler yapmasına izin verir.
Doğrusal olmayan durumda, uygulamaya özel olabilen başlıca 5 tip vardır.
Birim adım işlevi
Birim adım işlevi veya Heaviside adım işlevi, pozitif değerleri 1'e ve negatif değerleri 0'a eşleyen basit bir işlevdir.
İşaret işlevi
Bir işaret işlevi, pozitif değeri + 1'e ve negatif işlevi -1'e eşler
Sigmoid işlevi
+0.5'ten +1'e + ve değerini ve -0.5'den -1'e -ve değerini eşleyen S şeklinde tekdüze doğrusal olmayan bir fonksiyondur. Bu, sığ sinir ağı uygulamalarında yaygın olarak kullanılmaktadır. 0 <ϕ (bir) <1
Ayrıca, yaygın olarak kullanılmalarını sağlayan birkaç ilginç özelliğe sahiptir. Bunlardan biri, doğada simetrik olmasıdır. yani ϕ (-a) = 1-ϕ (a) hesaplama karmaşıklığını azaltır.
Tüm bu özellikler kulağa harika geliyor, Ama bekleyin !. Bu işlevde bir sorun var.
Yukarıdaki şekle bakıldığında, değer doygun hale geldikçe, “Kaybolan Gradyan sorunu” olarak adlandırılan gradyanları yok ettiği için (eğri x eksenine paraleldir) a değerine göre yanıt vermediğini gösterir. Bu, sinir ağı öğrenme oranını büyük ölçüde yavaşlatır. Bu sorunu önlemek için diğer işlevleri tercih ediyoruz.
Hiperbolik tanjant (tanh) işlevi
Yine yaygın olarak kullanılan bir başka aktivasyon fonksiyonu tanh fonksiyonudur. Sigmoid işlevine benzer, ancak farklı çıktı aralığına sahiptir. Sıfır merkezli olan hiperbolik sinüs ve hiperbolik kosinüs fonksiyonlarının oranıdır.
ReLU (Doğrultulmuş Doğrusal Birim)
ReLU, derin öğrenme uygulamalarında en çok kullanılan işlevlerden biridir. Özellikle Evrişimli sinir ağında.
Denklemin açıkladığı gibi, tüm pozitif değerler için doğrusal ve tüm negatif değerler için sıfırdır. Pozitif değerlerdeki doğrusallık, a daha büyük olduğunda eğimin doymadığını, dolayısıyla sigmoid ve tanh aktivasyon fonksiyonunda gördüğümüz gibi, kaybolan bir gradyan probleminin olmadığını belirtir . Dahası, basit uygulama sayesinde, hesaplama karmaşıklığı önemli ölçüde azalır, bu nedenle daha az eğitim süresi sağlar.
İşlev mükemmel görünse de, ölmekte olan ReLU olarak bilinen bir sorunu var . Bu, nöronun negatif değerler ürettiği ve ReLU'nun 0 değerini vermesini sağladığında, böylece negatif eğimden düzelme ihtimalini ortadan kaldırır. Bu, nöronu ölü ve işe yaramaz hale getirir.
Bu sorunu önlemek için Leaky ReLU adlı bir aktivasyon işlevi kullanıyoruz.
Örnek :
Referanslar
[1] https://github.com/Kulbear/deep-learning-nano-foundation/wiki/ReLU-and-Softmax-Activation-Functions
[2] https://cs231n.github.io/neural-networks-1/
[3]https://mc.ai/the-activation-functions/
Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Yapay Zekaya Giriş Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.
Önceki blog gönderimde, günümüzün makine öğrenimi ekosisteminde kalite ve güvenin ne kadar büyük zorluklar olduğunu anlattım. Okumaya fırsat bulamadıysanız, bu yazıya geçmeden önce okumanızı şiddetle tavsiye ederim.
Medya, Ex Machina ve I, Robot gibi bilimkurgu filmleri ve Elon Musk gibi birkaç açık sözlü vizyon sahibi sayesinde, çoğu insan artık Yapay Zeka (AI), çeşitli alt kümeleri ve potansiyelleri hakkında en azından temel bir anlayışa sahip. uygulamalar. Peki ya Ambient Intelligence (AmI) - bunu duydunuz mu? Endişelenmeyin, bu yeni ortaya çıkan alan bu noktada on yıldan fazla bir süredir etrafta olmasına rağmen çok az kişi var.
Yapay Zeka (AI) algoritmaları, özellikle eğlence ve sosyal medyanın en popüler ürünlerinden bazılarında istihdam edilmesiyle ya da başarılı bir şekilde araba kullanabildikleri için popüler hale geldiğinden, daha önce hiç olmadığı kadar halkın incelemesine girdi. Elon Musk veya Steven Hawking gibi yapay zeka hakkında konuşan ünlü bilim adamlarının, algoritmalara hayatımızın belirli yönlerine izin vermenin etik sonuçlarını ve kariyerlerinin işe yarayıp yaramadığını merak eden ünlü bilim adamlarının etkisi altında her türden insanın şüphesi yok. yeni teknolojinin yerini alma riski.
Makine öğrenimi ve benzer teknolojilerin ekonomi üzerindeki etkisini tartan tartışmada, dünyanın uzmanları büyük ölçüde iki kampa bölünmüş durumda. İyimserler olarak adlandıracağımız bir kamp, bu dijital devrimin, geçmişin teknolojik çalkantıları gibi ekonomiyi rayından çıkarmayacağını ve işsizlik oranlarının sonsuza dek pandemik seviyelere fırlamasına neden olmayacağını düşünüyor.