Çıktı katmanı için aktivasyon fonksiyonunu ihtiyacım olan çıktıya ve bildiğim aktivasyon fonksiyonunun özelliklerine bağlı olarak seçiyorum. Örneğin, olasılıklarla uğraşırken sigmoid işlevini, pozitif değerlerle uğraşırken ReLU'yu ve genel değerlerle uğraşırken doğrusal bir işlevi seçerim.
Gizli katmanlarda, ReLU yerine ölü nöronları ve sigmoid yerine tanh'ı önlemek için sızdıran bir ReLU kullanıyorum. Tabii ki, gizli birimlerde doğrusal bir işlev kullanmıyorum.
Ancak, gizli katmandaki onlar için seçim çoğunlukla deneme yanılma nedeniyledir.
Bazı durumlarda hangi aktivasyon fonksiyonunun iyi işleyebileceğine dair bir kural var mı? Durumları mümkün olduğunca genel olarak ele alın : katmanın derinliğine, NN'nin derinliğine, o katmanın nöron sayısına, seçtiğimiz optimize ediciye, giriş özelliklerinin sayısına atıfta bulunabilir. bu katmanı, bu NN'nin uygulanmasına vb.
In onun / onu cevap , cantordust ben ELU ve Selu gibi, söz etmedi bu diğer aktivasyon fonksiyonları ifade eder. Bu bilgiler memnuniyetle karşılanmaktadır. Bununla birlikte, daha fazla etkinleştirme işlevi keşfettiğimde, gizli katmanlarda kullanılacak işlev seçiminde daha fazla kafam karışıyor. Bir bozuk parayı çevirmenin bir aktivasyon işlevi seçmenin iyi bir yolu olduğunu düşünmüyorum.