İstatistikte, hakkında araştırma yapılacak birimler topluluğuna evren adı verilir ve bu sonlu evrenin içerisindeki her birim üzerinden, araştırma kapsamında, istenen bilgilerin elde edilmesi, yani, verilerin derlenmesi işlemine tamsayım denir. Tamsayım sonucunda bir veri kümesi elde edilir. Evrenden, sınırlı sayıda birimin, çeşitli yöntemler ile seçilmesi işlemine örnekleme ve seçilen birimlere örneklem adı verilir. Tanımlanan evrene ilişkin sayısal karakteristiklere parametre denir. Tamsayım yapılamadığı durumlarda, örneklem istatistiklerinden, istatistiksel tahminleme ve istatistiksel çıkarım yapma süreçleri ile parametre hakkında bilgi edinilmeye çalışılır.
Normal dağılımın çok kullanışlı olmasının bir nedeni merkezi limit teoremidir. Merkezi limit teoremi çok sayıda bağımsız ve aynı şekilde dağılmış rastgele değişkenlerin ortalamasının yaklaşık olarak normal bir dağılım gösterdiğini söyler. Yani, merkezi limit teoremi, ortalamasına ve standart sapmasına sahip bir veri kümesinden (popülasyondan) yeterince büyük rastgele örnekler alındığında, aynı popülasyondan gelen tüm örneklerin (örneklemlerin) ortalamasının popülasyonun ortalamasına yaklaşık olarak eşit olacağını belirtir. Özetle, bir veri setinin dağılımı ne şekilde olursa olsun, veri setinden yeterli miktarda seçilen örneklerin ortalamaları normal bir dağılıma sahip olacaktır.
Örneğin, bir ülkedeki insanların ortalama yaşı hakkında bir fikir edinilmek isteniliyor. Böyle bir durumda, rastgele kişinin yaşı öğrenilip, ortalaması alındığında çıkıyor. Daha sonra rastgele kişinin daha yaşı öğreniliyor ve ortalaması olarak hesaplanıyor. Bu şekilde, ‘er tane örneklerden daha fazla sayıda toplandığında, örneklem dağılımı elde edilmiş olunuyor. Örneklem dağılımı, toplanan örneklerin ortalamasının bir dağılımıdır. Merkezi limit teoremi, örneklem dağılımının, yani toplanan örneklerin ortalamalarının dağılımının, yaklaşık olarak popülasyon ortalamasının etrafında bir çan eğrisi şeklinde dağılacağını söyler ve bu şekilde bir dağılım, normal dağılım olarak bilinir. Dikkat edilmesi gereken nokta, merkezi limit teoremi, herhangi bir popülasyonun normal dağılıma sahip olacağını değil, örneklem dağılımının normal dağılıma sahip olacağını söyler. Alınan örneklerin sayısı sonsuza yaklaştıkça olasılık dağılımı simetrik bir hale gelecektir.
Merkezi limit teoremi, veriden istatistiksel çıkarım yapmayı sağlar. Güven aralığı ve hipotez testi kavramları merkezi limit teoremine dayanmaktadır. Geçerli bir örneklem bilgisine sahip olunduğunda popülasyon hakkında doğru varsayımlarda bulunulabilir veya tam tersi şekilde popülasyon hakkında bir bilgiye sahip olunduğunda örneklem hakkında doğru varsayımlarda bulunulabilir. Hem popülasyon hem de geçerli bir örneklem hakkında bilgi sahibi olunduğunda ise örneklemin o popülasyondan alınıp alınmadığı kesin olarak anlaşılabilir. İki farklı geçerli örneklem hakkında bilgi sahibi olunduğunda ise iki örneklemin aynı popülasyondan alınıp alınmadığı konusunda doğru bir şekilde çıkarım yapılabilir.