Entropi; bilgi entropisi veya Shannon entropisi olarak da adlandırılabilir.
Entropi, deneydeki rastgele veya belirsizliğin bir ölçüsüdür.
Entropi, deneydeki belirsizliğin bir ölçüsünü verir.
İki deneyi ele alalım:
* Tarafsız bir para atın (P (H) = 0.5) ve H olduğunu varsayarak çıktısını gözlemleyin.
İki deneyi karşılaştırırsak, deney 2’nin sonucu tahmin etmek deney 1’den daha kolaydır. Bu nedenle, Deney 1’in Deney 2’den doğal olarak daha belirsiz veya tahmin edilemez olduğunu söyleyebiliriz. Deneylerdeki bu belirsizlik entropi kullanılarak ölçülür.
Bu nedenle, deneyde daha fazla doğal belirsizlik varsa, entropisi daha büyüktür. Ya da deney ne kadar öngörülemez olursa entropi o kadar büyük olur. Entropi hesaplamak için deneysel olasılık dağılımı kullanılır.
Tamamen öngörülebilir bir deterministik deney, yani P (H) = 1 ile bozuk para atmak sıfır entropiye sahiptir. Tarafsız bir zarın yuvarlanması gibi tamamen rastgele bir deney, bu deneylerde en öngörülemez, en büyük belirsizlik ve en entropidir.
Tarafsız bir bozuk para fırlatma deneyi, taraflı bir bozuk para fırlatmaktan daha fazla entropiye sahiptir.
Entropiyi gözlemlemenin bir başka yolu, rastgele deneylerin sonuçlarını gözlemlediğimizde elde edilen ortalama bilgidir. Deney sonuçlarından elde edilen bilgiler, sonuçların ortaya çıkma olasılığının bir fonksiyonu olarak tanımlanmaktadır. Sonuç ne kadar nadir olursa, gözlemden o kadar fazla bilgi elde edilir.
Örneğin, deterministik deneylerde her zaman sonucu biliyoruz, bu yüzden sonucu gözlemleyerek yeni bir bilgi elde edilmiyor, bu nedenle entropi sıfır.