Regresyon analizi, rastgele bir değişkenin değişkenlere bağımlılığını incelemek için kullanılan istatistiksel bir yöntemdir.

İstatistiksel modellemede, regresyon analizi değişkenler arasındaki ilişkiyi değerlendirmek için kullanılan bir çalışmadır. Bu matematiksel yöntem, odak değişken bağımlı ile bir veya daha fazla bağımsız değişken arasındaki ilişki olduğunda, birkaç değişkeni modellemek ve analiz etmek için pek çok başka yöntem içerir. Daha spesifik olarak, regresyon analizi, bağımsız değişkenlerden biri değiştiğinde, diğer bağımsız değişkenler sabit kalırken, bağımlı değişkenlerin tipik bir değerinin nasıl değiştiğini anlamaya yardımcı olur.

Her durumda, hedef tahmini bağımsız değişkenlerin bir fonksiyonudur ve regresyon fonksiyonu olarak adlandırılır. Regresyon analizinde, bağımlı değişkendeki değişimin bir regresyon fonksiyonu olarak tanımlanabilecek regresyonun bir fonksiyonu olarak nitelendirilmesi de ilgi çekicidir.

Regresyon Analizi Görevleri

Bu istatistiksel araştırma yöntemi, kullanımının önemli bir avantaja sahip olduğu tahminlerde yaygın olarak kullanılır, ancak bazen yanılsamalara veya yanlış ilişkilere yol açabilir, bu nedenle bu konuda dikkatli bir şekilde kullanılması önerilir, çünkü korelasyon nedensel bir ilişki anlamına gelmez.

Regresyon analizini gerçekleştirmek için, parametrik olan doğrusal ve sıradan en küçük kareler regresyonu gibi çok sayıda yöntem geliştirilmiştir. Bunların özü, regresyon fonksiyonunun, verilerden hesaplanan sınırlı sayıda bilinmeyen parametre cinsinden tanımlanmasıdır. Parametrik olmayan regresyon, fonksiyonlarının sonsuz boyutlu olabilen belirli fonksiyonlar dizisinde yatmasına izin verir.

İstatistiksel bir araştırma yöntemi olarak, uygulamadaki regresyon analizi, veri oluşturma sürecinin formuna ve bunun regresyon yaklaşımı ile nasıl ilişkili olduğuna bağlıdır. Veri işleminin gerçek şekli, kural olarak bilinmeyen bir sayı oluşturduğundan, verilerin regresyon analizi genellikle bu süreçle ilgili varsayımlara dayanır. Bu varsayımlar bazen yeterli veri varsa doğrulanmaktadır. Regresyon modelleri, varsayımlar orta düzeyde ihlal edilse bile, çoğu zaman maksimum verimle çalışamadıkları halde faydalıdır.

Daha dar bir anlamda, regresyon, sınıflandırmada kullanılan ayrık cevap değişkenlerinin aksine, özellikle sürekli cevap değişkenlerinin değerlendirilmesi ile ilgili olabilir. Sürekli bir çıkış değişkeni durumunda, onu ilgili sorunlardan ayırmak için metrik regresyon da denir.

Hikaye

En eski regresyon şekli en iyi bilinen en küçük kareler yöntemidir. 1805'te Legendre ve 1809'da Gauss tarafından yayınlandı. Legendre ve Gauss, yöntemi astronomik gözlemlerden Güneş çevresindeki vücutların yörüngelerini (çoğunlukla kuyruklu yıldızlar, ancak daha sonra keşfedilen küçük gezegenler) belirleme görevine uyguladı. Gauss, Gauss-Markov teoreminin bir versiyonunu içeren, 1821'de en küçük kareler teorisinin bir başka gelişimini yayınladı.

“Regresyon” terimi, 19. yüzyılda Francis Galton tarafından biyolojik bir olguyu tanımlamak için kullanılmıştır. Sonuç olarak, soydan gelenlerin ataların büyümesinden büyümesi, kural olarak normal ortama gerilemiştir.Galton'a göre, regresyonun sadece bu biyolojik anlamı vardı, ancak daha sonra çalışmalarına Udney Yule ve Karl Pearson tarafından devam edildi ve daha genel bir istatistiksel duruma getirildi. Yule ve Pearson'un çalışmalarında, cevap değişkenlerinin ve açıklayıcı değişkenlerin ortak dağılımı Gauss olarak kabul edilir. Bu varsayım, Fisher tarafından 1922 ve 1925 eserlerinde reddedildi. Fisher, yanıt değişkeninin koşullu dağılımının Gaussian olduğunu, ancak ortak dağılımın olmamasını önerdi. Bu bağlamda, Fischer’in varsayımı, 1821 Gauss formülasyonuna daha yakındır. 1970 yılına kadar, regresyon analizinin sonucunu almak bazen 24 saat sürdü.

Regresyon analizi yöntemleri aktif bir araştırma alanı olmaya devam ediyor. Son yıllarda, güvenilir regresyon için yeni yöntemler geliştirilmiştir; bağıntılı cevapları içeren regresyon; çeşitli eksik verileri barındıran regresyon yöntemleri; parametrik olmayan regresyon; Bayes regresyon yöntemleri; prediktör değişkenlerinin bir hata ile ölçüldüğü regresyonlar; gözlemlerden daha fazla yordayıcı içeren regresyonlar ve regresyon ile nedensel çıkarımlar.

Regresyon modelleri

Regresyon analizi modelleri aşağıdaki değişkenleri içerir:

• Bir skalar veya vektör olabilen beta olarak adlandırılan bilinmeyen parametreler.
• Bağımsız Değişkenler, X.
• Bağımlı Değişkenler, Y.

Regresyon analizinin uygulandığı çeşitli bilim alanlarında, bağımlı ve bağımsız değişkenler yerine çeşitli terimler kullanılmaktadır, ancak her durumda, regresyon modeli Y'yi X ve functions fonksiyonlarıyla ilişkilendirmektedir.

Yaklaşım genellikle E (Y | X) = F (X, β) biçimini alır. Bir regresyon analizi yapmak için, f fonksiyonunun tipi belirlenmelidir. Daha az yaygın olarak, verilere dayanmayan Y ve X arasındaki ilişkinin bilgisine dayanır. Eğer böyle bir bilgi mevcut değilse, esnek veya uygun bir F formu seçilir.

Bağımlı Değişken Y

Şimdi bilinmeyen parametrelerin β vektörünün k uzunluğunda olduğunu varsayalım. Bir regresyon analizi yapmak için kullanıcının Y bağımlı değişkeni hakkında bilgi vermesi gerekir:

• Formun N veri noktaları varsa (Y, X), burada N

• Tam olarak N = K gözlenirse ve F işlevi doğrusal ise, o zaman Y = F (X, β) denklemi yaklaşık olarak değil, tam olarak çözülebilir. Bu, X doğrusal olarak bağımsız olduğu sürece benzersiz bir çözüme sahip olan N bilinmeyenli (elements elementleri) ile N-bilinmeyenli bir N-denklemi setini çözmeyi azaltır. F doğrusal değilse, çözüm mevcut olmayabilir veya birçok çözüm olabilir.
• En yaygın olanı, N> verilerinin işaret ettiği durumdur. Bu durumda, verilerde veriyle en iyi eşleşen β değerinin benzersiz değerini değerlendirmek için yeterli bilgi vardır ve verilere uygulandığında regresyon modeli in de önceden tanımlanmış bir sistem olarak kabul edilebilir.

İkinci durumda, regresyon analizi aşağıdakiler için araçlar sağlar:

• Bilinmeyen parametreler için çözümler bulma, örneğin Y'nin ölçülen ve öngörülen değerleri arasındaki mesafeyi en aza indirecektir.
• Bazı istatistiksel varsayımlar altında, regresyon analizi bilinmeyen parametreler β ve bağımlı değişken Y'nin tahmin edilen değerleri hakkında istatistiksel bilgi sağlamak için fazla bilgiyi kullanır.

Gerekli sayıda bağımsız ölçüm

Üç bilinmeyen parametresi olan bir regresyon modeli düşünün: β₀, β₁ ve β₂. Deneycinin X vektörünün bağımsız değişkeninin aynı değerinde 10 ölçüm gerçekleştirdiğini varsayalım.Bu durumda, regresyon analizi benzersiz bir değerler kümesi sunmaz. Yapabileceğiniz en iyi şey, Y bağımlı değişkeninin ortalama ve standart sapmasını değerlendirmektir. İki farklı X değerini aynı şekilde ölçerek, iki bilinmeyenli, ancak üç veya daha fazla bilinmeyenli bir regresyon için yeterli veri elde edebilirsiniz.

Deneycinin ölçümleri X vektörünün bağımsız değişkeninin üç farklı değerinde gerçekleştirilmişse, o zaman regresyon analizi unknown'deki üç bilinmeyen parametre için benzersiz bir tahmin seti sağlayacaktır.

Genel doğrusal regresyon durumunda, yukarıdaki ifade X matrisinin gerekliliğine eşittir.^TX geri dönüşümlüdür.

İstatistiksel Varsayımlar

Ölçüm sayısı N bilinmeyen parametre sayısı k'den büyükse ve ölçüm hatası ε_benDaha sonra, bir kural olarak, ölçümlerde yer alan bilgilerin fazlalığı dağıtılır ve bilinmeyen parametrelere ilişkin istatistiksel tahminler için kullanılır. Bu bilgi fazlalığına gerileme özgürlüğü derecesi denir.

Temel varsayımlar

Regresyon analizi için klasik varsayımlar şunlardır:

• Örnek çıkarım tahminini temsil eder.
• Hata, açıklayıcı değişkenlere bağlı olan, ortalama değeri sıfır olan rastgele bir değişkendir.
• Bağımsız değişkenler hatasız ölçülür.
• Bağımsız değişkenler (öngörücüler) olarak, bunlar doğrusal olarak bağımsızdır, yani başka bir öğenin doğrusal birleşimi biçiminde herhangi bir öngörücüyü ifade etmek mümkün değildir.
• Hatalar ilişkisizdir, yani, köşegen hataların kovaryans matrisi ve sıfır olmayan her element hatanın varyansıdır.
• Hatanın varyansı gözlemlere göre sabittir (homoskedasticity). Değilse, ağırlıklı en küçük kareler yöntemini veya diğer yöntemleri kullanabilirsiniz.

En küçük kareler kestirimi için bu yeterli koşullar, gerekli özelliklere sahiptir, özellikle, bu varsayımlar, parametre tahminlerinin, özellikle doğrusal tahminler sınıfında dikkate alındığında, nesnel, tutarlı ve etkili olacağı anlamına gelir. Kanıtların nadiren şartları karşıladığını not etmek önemlidir. Yani, varsayımlar doğru olmasa bile yöntem kullanılır. Varsayımların bir çeşitlemesi bazen bu modelin ne kadar faydalı olduğunu ölçmek için kullanılabilir. Bu varsayımların çoğu, daha gelişmiş yöntemlerle hafifletilebilir. İstatistiksel analiz raporları tipik olarak örnek verilere dayanan testlerin analizini ve model faydası için metodolojiyi içerir.

Ek olarak, bazı durumlarda değişkenler nokta noktalarında ölçülen değerleri ifade eder. İstatistiksel varsayımları ihlal eden değişkenlerde mekansal eğilimler ve mekansal otokorelasyonlar olabilir. Coğrafi ağırlıklı regresyon, bu verilerle ilgilenen tek yöntemdir.

Doğrusal Regresyon Analizi

Doğrusal regresyonda, bir özellik Y olan bağımlı değişkenin olmasıdır._benParametrelerin doğrusal bir birleşimidir. Örneğin, basit bir doğrusal regresyonda, n-noktalarını modellemek için bir bağımsız değişken olan x, kullanılır_ben, ve iki parametre, β₀ ve β₁.

Çoklu doğrusal regresyon ile, birkaç bağımsız değişken veya işlevleri vardır.

Bir popülasyondan rasgele bir örneklemeyle, parametreleri doğrusal bir regresyon modeli örneği elde etmeyi mümkün kılar.

Bu açıdan, en küçük kareler yöntemi en popüler olanıdır. Bunu kullanarak, kare artıkların toplamını en aza indiren parametre tahminleri elde edilir. Bu fonksiyonun bu şekilde küçültülmesi (lineer regresyonun karakteristiği olan), normal tahminler dizisine ve parametre tahminleri elde etmek için çözülmüş parametreler ile lineer denklemler dizisine yol açar.

Nüfusun hatasının genellikle yaydığı varsayımına göre, araştırmacı güven aralıkları oluşturmak ve parametreleri hakkındaki hipotezleri test etmek için bu standart hata tahminlerini kullanabilir.

Doğrusal Olmayan Regresyon Analizi

İşlevin parametrelere göre doğrusal olmadığı bir örnek, karelerin toplamının yinelemeli bir prosedür kullanılarak en aza indirilmesi gerektiğini gösterir. Bu, doğrusal ve doğrusal olmayan en küçük kareler yöntemleri arasındaki farkları belirleyen birçok komplikasyon sunar. Sonuç olarak, doğrusal olmayan yöntem kullanılarak yapılan regresyon analizi sonuçları bazen tahmin edilemez.

Güç ve örneklem büyüklüğü hesabı

Burada, bir kural olarak, modeldeki bağımsız değişkenlerin sayısına kıyasla gözlemlerin sayısı ile ilgili tutarlı bir yöntem yoktur. İlk kural, Good ve Hardin tarafından önerildi ve N = t ^ n'ye benziyor, burada N, örneklem büyüklüğü, n, bağımsız değişkenlerin sayısı ve t, eğer model sadece bir bağımsız değişkene sahipse, istenen doğruluğu elde etmek için gerekli gözlem sayısıdır. Örneğin, bir araştırmacı 1000 hasta (N) içeren bir veri seti kullanarak doğrusal bir regresyon modeli oluşturur. Araştırmacı çizgiyi (m) doğru bir şekilde belirlemek için beş gözlemin gerekli olduğuna karar verirse, modelin destekleyebileceği maksimum bağımsız değişken sayısı 4'tür.

Diğer yöntemler

Regresyon modelinin parametrelerinin genellikle en küçük kareler yöntemi kullanılarak tahmin edilmesine rağmen, daha az sıklıkla kullanılan başka yöntemler de vardır. Örneğin, bunlar aşağıdaki yöntemlerdir:

• Bayesian yöntemleri (örneğin, Bayesian doğrusal regresyon yöntemi).
• Yüzde hata oranının azaltılmasının daha uygun olduğu durumlarda kullanılır.
• Kuantil regresyona neden olan aykırı değerlerin varlığında daha stabil olan en küçük mutlak sapmalar.
• Çok sayıda gözlem ve hesaplama gerektiren parametrik olmayan regresyon.
• Verilen bir girdi alanında önemli bir metrik mesafenin aranması için çalışılan öğrenme metriklerinin mesafesi.

yazılım

Tüm büyük istatistiksel yazılım paketleri, en küçük kareler regresyon analizi kullanılarak gerçekleştirilir. Basit doğrusal regresyon ve çoklu regresyon analizi, bazı hesap tablolarında olduğu gibi bazı elektronik tablo uygulamalarında da kullanılabilir. Her ne kadar birçok istatistiksel yazılım paketi çeşitli parametrik olmayan ve güvenilir regresyon türlerini gerçekleştirebilse de, bu yöntemler daha az standardize edilmiştir; farklı yazılım paketleri farklı yöntemler uygular. Muayene analizi ve beyin görüntüleme gibi alanlarda kullanılmak üzere özel bir regresyon yazılımı geliştirilmiştir.