Çapraz entropi kaybı veya log kaybı(log loss), çıktısı 0 ile 1 arasında bir olasılık değeri olan bir sınıflandırma modelinin performansını ölçer. Bu makine öğrenmesi modeline örnek olarak lojistik regresyon verilebilir. Tahmin edilen olasılık asıl değerden uzaklaştıkça çapraz entropi kaybı artar. Yani gerçek gözlem etiketi 1 olduğu zaman .012 olasılığının kötüye gideceği ve bunun yüksek bir kayıp değerine yol açacağı tahmin edilir. Mükemmel bir modelde, 0 log kaybı olur.
Log kaybının doğru tahminler üretildiğindeki grafiğine bakalım. Tahmin edilen olasılık azaldığında, log kaybının da azaldığını görebiliriz.
- Doğruluk (accuracy), öngörülen değerin gerçek değere eşit olduğu tahminlerin sayısıdır. Doğruluk, evet ya da hayır sonuçları olan bir model için her zaman iyi bir ölçüm değildir.
- Log kaybı (log loss), tahminin gerçek değerinden ne kadar değişiklik gösterdiğine bağlı olarak belirsizliğini hesaba katar. Bu, modelimizin performansına daha nüanslı bir bakış açısı kazandırır.
Log kaybı ve çapraz entropi, içeriğe bağlı olarak biraz farklıdır, fakat 0 ile 1 arasında hata oranlarını hesaplarken makine öğrenmesinde aynı şeyi çözerler.
Çapraz Entropi:
Log Kaybı:
- İkili sınıflandırmada:
- Çoklu sınıflandırmada:
Referans: