Doğrusal regresyon, bağımlı bir değişken ile bir veya daha fazla açıklayıcı değişken arasındaki ilişkiyi düz bir çizgi kullanarak açıklamanın bir yoludur. Regresyon analizinin özel bir durumudur.
Doğrusal regresyon, üzerinde titizlikle çalışılan ilk regresyon analizi türüdür. Bunun nedeni, bilinmeyen parametrelerine doğrusal olarak bağlı olan modellerin, parametrelerine doğrusal olarak bağlı olmayan modellere göre daha kolay uydurulabilmesidir. Dahası, elde edilen tahmin edicilerin istatistiksel özelliklerinin belirlenmesi daha kolaydır.
Doğrusal regresyonun birçok pratik kullanımı vardır. Çoğu uygulama aşağıdaki iki geniş kategoriden birine girer:
- Doğrusal regresyon, bir dizi gözlenen değere (veriye) bir tahmin modeli uydurmak için kullanılabilir. Amaç tahmin, öngörü veya azaltma ise bu kullanışlıdır. Böyle bir model geliştirildikten sonra, X'in ek bir değeri, beraberinde y değeri olmadan verilirse, uydurulan model y değerinin tahmininde kullanılabilir.
- Bir y değişkeni ve y ile ilişkili olabilecek bir dizi X1 , ..., Xp değişkeni verildiğinde, y ile Xj arasındaki ilişkinin gücünü ölçmek, hangi Xj değişkeninin y ile hiçbir ilişkisi olmadığını değerlendirmek ve Xj değişkeninin hangi alt kümelerinin y hakkında gereksiz bilgi içerdiğini belirlemek için doğrusal regresyon analizi uygulanabilir.
Doğrusal regresyon modelleri, doğru ile veri noktaları (örneğin artıklar) arasındaki dikey mesafeyi mümkün olduğunca küçük yapmaya çalışır. Buna "doğruyu veriye uydurmak" denir. Genellikle, doğrusal regresyon modelleri artıkların karelerinin toplamını (en küçük kareler) en aza indirmeye çalışır, ancak başka uydurma yolları da mevcuttur. Bunlar arasında başka bir normda "uyum eksikliğini" en aza indirmek (en küçük mutlak sapmalar regresyonunda olduğu gibi) veya ridge regresyonunda olduğu gibi en küçük kareler kayıp fonksiyonunun cezalandırılmış bir versiyonunu en aza indirmek yer alır. En küçük kareler yaklaşımı, doğrusal olmayan modelleri uydurmak için de kullanılabilir. Yukarıda belirtildiği gibi, "en küçük kareler" ve "doğrusal model" terimleri yakından bağlantılıdır, ancak eş anlamlı değildir.
