Shannon entropisi bilgi analizinde kullanılan önemli bir ölçüm yöntemidir. Rastgele dağılımlı veride bulunan belirsizliği ölçemeye yarar. 1948 yılında Claude E. Shannon tarafından "İletişimdeki Matematik" adlı makale ile duyurulmuş ve bir çok alanda kullanılmıştır.
Bu yöntem bir string veri içindeki karakterlerin minimum kaç bit ile kodlanması gerektiğini ölçer. Bir string veri içindeki harflerin yüzdelik dağılımlarının istenen logaritma tabanındaki tersi değer ile çarpılması ile bulunur;
Daha fazla açıklama için Shannon Entropy
Kullanıcıdan alınan bir stringi log 2 tabanına göre hesaplayıp, 2 bitlik veriler şeklinde kodlayınız? (Bkz. Üstteki link açıklaması)