Bir Makine Öğrenimi veya Derin Öğrenme Problemi üzerinde çalışırken, eğitim sırasında modeli optimize etmek için kayıp / maliyet fonksiyonları kullanılır. Amaç neredeyse her zaman kayıp işlevini en aza indirmektir. Kayıp ne kadar düşükse model o kadar iyidir. Çapraz Entropi kaybı, en önemli maliyet fonksiyonudur. Sınıflandırma modellerini optimize etmek için kullanılır. Cross-Entropy anlayışı, Softmax aktivasyon fonksiyonunun anlaşılmasına bağlıdır. Bu ön koşulu kapsayacak şekilde aşağıya başka bir makale yazdım
Bir görüntünün köpek, kedi, at veya çita olarak sınıflandırıldığı 4 sınıflı bir sınıflandırma görevi düşünün.
Yukarıdaki Şekilde, Softmax logitleri olasılıklara dönüştürür. Çapraz Entropinin amacı, çıktı olasılıklarını (P) almak ve doğruluk değerlerinden mesafeyi ölçmektir (Figurebelow'da gösterildiği gibi).
Yukarıdaki örnek için istenen çıktı
[1,0,0,0]sınıf içindir,
dogancak model çıktılarıdır
[0.775, 0.126, 0.039, 0.070].
Amaç, model çıktısının istenen çıktıya (doğruluk değerleri) mümkün olduğunca yakın olmasını sağlamaktır. Model eğitimi sırasında, Çapraz Entropi kaybını en aza indirmek amacıyla model ağırlıkları buna göre yinelemeli olarak ayarlanır. Ağırlıkların ayarlanması süreci model eğitimini tanımlayan şeydir ve model eğitime devam ettikçe ve kayıp en aza indirildikçe model öğreniyor diyoruz .
Çapraz entropi kavramı, Claude Shannon'un 1948'de entropi kavramını tanıttığı Bilgi Teorisi alanına kadar uzanır . Çapraz Entropi maliyet fonksiyonuna dalmadan önce, entropiyi tanıtalım.
Rastgele bir değişken X'in entropisi, olası sonuç değişkenlerinin doğasında bulunan belirsizlik düzeyidir.
İçin
p(x)- olasılık aşağıdaki şekilde dağılımı ve rastgele değişken X, entropi tanımlanır
Negatif işaretin nedeni:
log(p(x))<0 hepsi
p(x)için
(0,1). p (x) bir olasılık dağılımıdır ve bu nedenle değerler 0 ile 1 arasında olmalıdır.
Entropinin değeri ne
H(x)kadar büyükse, olasılık dağılımı için belirsizlik o kadar büyük ve değer ne kadar küçükse belirsizlik o kadar az olur.
Misal
Aşağıdaki şekiller içeren 3 "kabı" düşünün: üçgenler ve daireler
Konteyner 1: Bir üçgen seçme olasılığı 26/30 ve bir daire seçme olasılığı 4 / 30'dur. Bu nedenle, bir şekli seçme ve / veya başka bir şekli seçmeme olasılığı daha kesindir.
Konteyner 2: Üçgen şekli seçme olasılığı 14/30 ve aksi takdirde 16 / 30'dur. Herhangi bir belirli şekli seçme şansı neredeyse 50-50'dir. Belirli bir şekli seçme konusunda 1'e göre daha az kesinlik.
Konteyner 3: Konteyner 3'ten alınan bir şekil kesinlikle bir dairedir. Bir daire seçme olasılığı 1 ve bir üçgen seçme olasılığı 0'dır. Seçilen şeklin daire olacağından kesinlikle emin olabilirsiniz.
Verilen bir şekli seçmenin kesinliği hakkındaki iddialarımızı doğrulamak için entropiyi hesaplayalım.
Beklendiği gibi, birinci kap için entropi ikinciden daha küçüktür. Bunun nedeni, belirli bir şekli seçme olasılığının kap 1'de 2'ye göre daha kesin olmasıdır. Üçüncü kap için entropi 0 olup mükemmel kesinlik anlamına gelir.
Logaritmik kayıp , log kaybı veya lojistik kayıp olarak da adlandırılır . Öngörülen her sınıf olasılığı, gerçek sınıf istenen çıktı 0 veya 1 ile karşılaştırılır ve gerçek beklenen değerden ne kadar uzakta olduğuna bağlı olarak olasılığı cezalandıran bir puan / kayıp hesaplanır. Ceza, doğası gereği logaritmiktir ve 1'e yakın büyük farklar için büyük bir puan ve 0'a eğilimli küçük farklılıklar için küçük bir puan verir.
Eğitim sırasında model ağırlıklarını ayarlarken çapraz entropi kaybı kullanılır. Amaç, kaybı en aza indirmektir, yani kayıp ne kadar küçükse model o kadar iyidir. Mükemmel bir modelin çapraz entropi kaybı 0'dır.
Çapraz entropi şu şekilde tanımlanır:
İkili sınıflandırma için, şu şekilde tanımlanan ikili çapraz entropiye sahibiz:
İkili çapraz entropi, genellikle tüm veri örneklerindeki ortalama çapraz entropi olarak hesaplanır.
Misal
Aşağıdaki Softmax olasılıkları (S) ve etiketler (T) ile sınıflandırma problemini düşünün. Amaç, bu bilgiler göz önüne alındığında çapraz entropi kaybını hesaplamaktır.
Kategorik çapraz entropi aşağıdaki gibi hesaplanır
Softmax sürekli olarak farklılaştırılabilir bir işlevdir. Bu, sinir ağındaki her ağırlığa göre kayıp fonksiyonunun türevini hesaplamayı mümkün kılar. Bu özellik, modelin, kayıp fonksiyonunu en aza indirmek için ağırlıkları uygun şekilde ayarlamasına izin verir (model çıktısı gerçek değerlere yakın).
Model eğitiminin bazı yinelemelerinden sonra modelin aşağıdaki logit vektörünü çıkardığını varsayalım.
0.095önceki kayıptan daha azdır, yani
0.3677modelin öğrenmekte olduğu anlamına gelir. Optimizasyon süreci (çıktıların gerçek değerlere yakın olması için ağırlıkların ayarlanması) eğitim bitene kadar devam eder.
Keras, aşağıdaki çapraz entropi kaybı işlevlerini sağlar: ikili, kategorik, seyrek kategorik çapraz entropi kaybı işlevleri.
Hem kategorik çapraz entropi hem de seyrek kategorik çapraz entopi, Denklem ?? 'de tanımlananla aynı kayıp fonksiyonuna sahiptir. İkisi arasındaki tek fark, doğruluk etiketlerinin nasıl tanımlandığı üzerinedir.
[1,0,0],
[0,1,0]ve
[0,0,1].
[1],
[2]ve
[3]3-sınıfı sorun.
Okuduğunuz için teşekkürler :-)
Modern BT hizmet sunumunun manzarası, otomasyon ve optimizasyona artan odaklanma ile değişiyor. Günümüzde çoğu BT satıcısı, sıradan, tekrarlayan emek yoğun görevlerin yerine getirilmesi ve hatta insan bilgisi gerektiren görevler için uçtan uca otomasyona yönelik hizmet platformlarına sahiptir.
T-Dağıtılmış Stokastik Komşu Gömme (t-SNE), özellikle yüksek boyutlu veri kümelerinin görselleştirilmesi için çok uygun olan, doğrusal olmayan boyutsallık indirgeme için ödüllü bir tekniktir. Ama önce biraz arka planı tartışalım.
MIT Seçim Laboratuvarı'nda yüksek lisans araştırmacısı ve doktora derecesi olan Jesse Clark tarafından yazılmıştır.
Oakland, CA'da halka açık verileri kullanarak hava kalitesini tahmin etmek Google ve EDF, Oakland'daki hava kirliliğini haritalama çalışmalarını yayınladığında, bu çalışmanın sonuçları büyük ilgi gördü. Yayınladıkları veriler, hava kalitesinin Doğu ve Batı Oakland'daki şehir bloklarına göre nasıl değiştiğini gösteren ilk veri kümelerinden biriydi.
Daniel Fleck ve David Lubert ile yazılmıştır Dizimizin ilk blogu, bir veri bilimi projesini uygun şekilde değerlendirmek için Net Şimdiki Değer (NPV), İç Getiri Oranı (IRR) ve Karlılık Endeksi'ni (PI) kullanmaya odaklanacaktır. Ayrıca, bir veri bilimi metodolojisinin kullanılmasının, bu aynı ekonomik ölçütlerin girdilerini daha yüksek kaliteli değerlendirmeler geliştirmek için nasıl daha da iyileştirebileceğini tartışacağız.
Öz bileşimi ve SVD için yararlı olan doğrusal cebir temel kavramını anlayın Bu makalede, öz ayrıştırma veya tekil değer ayrıştırma (SVD) gibi matris çarpanlara ayırma yöntemlerini anlamanın ilginç bir yolu olan temel kavramını öğreneceksiniz. Tanımlar Temel, vektör uzaylarını (vektör setleri) tanımlamak için kullanılan bir koordinat sistemidir.
"Yıldızlarla Dans Etmek" izleyicileri, ev sahibi Tyra Banks'i göstermeye henüz ısınmadı. Bir takdir gönderisinin yorumlar bölümünde kavrulmuştu.
'Spectre' filminden sonra Daniel Craig, bir daha James Bond oynamakla ilgili bazı kötü şeyler söyledi. 'Ölmek İçin Zaman Yok' yıldızı şimdi pişmanlık duyuyor.
Carmel'in 'Nine Perfect Strangers' hikayesi şok edici bir hal aldı. Ancak izleyicilerin merak ettiği şeylerden biri de onun gözü.
'Sex Education' Sezon 3, Netflix'e geri döndü. Hayranlar, Alistair Petrie (Bay Groff) ve Connor Swindells'in (Adam) gerçek hayatta akraba olup olmadığını merak ediyor.
Facebook'ta adınızı değiştirmek ister misiniz? Sadece birkaç basit adımda yapmak kolaydır.
Her zaman 10.000 adımlık bu keyfi günlük hedefin gerisinde kalıyorsanız, iyi haberlerimiz var. Daha az adım atarsanız sağlığınız da aynı derecede fayda sağlayabilir.
Garden State, ABD'de kendi gazınızı pompalamanın yasa dışı olduğu tek eyalettir. Ne oluyor?
Bu arada, alacakaranlıkta ve dolunayda araba kullanmak da size bir iyilik yapmıyor.
İlk Apple Watch grubu, kilitlenmeyi ve yüklenmeyi bekleyen bir sürü küçük küçük oyun uygulamasıyla Cuma günü kullanıcıların ellerine ulaşıyor. Mikro oyunlarda neyin iyi olabileceğini görelim.
Nintendo'nun en son Zelda oyunu Breath of the Wild, kullanıcılara keşif, sürpriz ve çekicilikle dolu devasa, gelişmekte olan bir açık dünya sunduğu için hak ettiği övgüleri topladı. Bununla birlikte, oyunda daha derine inerken, bazı kötü sürtünmeleri ve yoğun işleri azaltmak için birkaç hızlı kullanıcı deneyimi (UX) tasarım iyileştirmesinden yararlanabilecek bazı alanları fark etmeye başladım.
Resim: Lion Forge Comics. Mariko Yamashin tarafından sanat.
En sevdiğimiz son derece maaşlı modellerimizin podyumda bir değil iki kez yürümek için her türlü pırıltı ve ihtişamla giyindikleri, ardından sıcaklığının bir saat sürecek prodüksiyona dönüştürülmesi için birkaç hafta bekledikleri yine yılın o harika zamanı. daha da sıcak görünüyorlar ve böylece kimse düşmesin Evet, Victoria's Secret Fashion Show Salı gecesiydi ve bizler tüm çileyi görmek için 8 Aralık'a kadar beklemek zorunda kalırken, işte bu uzaylı yaratıkların nazikçe düşmesini sağlayan tüm fotoğraflar. bizimle birlikte Dünya Gezegeninde takılmak için
Megan Thee Stallion, Perşembe günü yeni işbirliğini duyuran bir Instagram videosunun yanında, “Sporun olmasını istediğiniz her şey olduğunu bilmenizi sağlamak için fitness hikayemi paylaşıyorum” dedi.
Şarkıcı, kolluk kuvvetleri tarafından öldürülen 61 Siyah kadın ve kızı onurlandıran bir marş yaratmak için Afro-Amerikan Politika Forumu ve eğlence arkadaşlarıyla bir araya geldi.
Heather Locklear, nişanlısı ve lise aşkı Chris Heisser'ın 60. doğum gününü bir hatıra fotoğrafı paylaşarak kutluyor
Tim Donnelly'nin Cuma günü New Mexico'daki evinde ameliyattan kaynaklanan komplikasyonlar nedeniyle öldüğü bildirildi.