Ölçüm hiçbir zaman kesin olmadığı için istatistiksel hatalar ve artıklar ortaya çıkar.
Kesin bir ölçüm yapmak mümkün değildir, ancak bir ölçümün ne kadar doğru olduğunu söylemek mümkündür. Kişi aynı şeyi tekrar tekrar ölçebilir ve tüm verileri bir araya toplayabilir. Bu da veriler üzerinde istatistik yapmamızı sağlar. Hata ve artıklar ile kastedilen, gözlenen veya ölçülen değer ile bilinmeyen gerçek değer arasındaki farktır.
Tek bir rastgele değişken varsa, istatistiksel hatalar ile artıklar arasındaki fark, popülasyonun ortalaması ile (gözlenen) örneklemin ortalaması arasındaki farktır. Bu durumda artık, olasılık dağılımının söylediği ile gerçekte ölçülen arasındaki farktır.
Belirli bir bölgedeki 21 yaşındaki erkeklerin boylarını ölçmek için bir deney yapıldığını varsayalım. Dağılımın ortalaması 1,75 m. Rastgele seçilen bir erkeğin boyu 1,80 m ise, "(istatistiksel) hata" 0,05 m (5 cm); 1,70 boyunda ise hata -5 cm'dir.
Öte yandan artık (veya uydurma hatası), gözlemlenemeyen istatistiksel hatanın gözlemlenebilir bir tahminidir. En basit durumda, boyları ölçülen n erkekten oluşan rastgele bir örneklem söz konusudur. Örneklem ortalaması, popülasyon ortalamasının bir tahmini olarak kullanılır. O zaman şöyle olur:
- Örneklemdeki her bir erkeğin boyu ile gözlemlenemeyen popülasyon ortalaması arasındaki fark istatistiksel bir hatadır ve
- Örneklemdeki her bir erkeğin boyu ile gözlemlenebilir örneklem ortalaması arasındaki fark bir artıktır.
Rastgele bir örneklem içindeki artıkların toplamı sıfır olmalıdır. Bu nedenle artıklar bağımsız değildir. Rastgele bir örneklemdeki istatistiksel hataların toplamının sıfır olması gerekmez; bireyler popülasyondan bağımsız olarak seçilirse istatistiksel hatalar bağımsız rastgele değişkenlerdir.
Özetle: