Lojistik Regresyon Formülü
Lojistik regresyon, istatistik ve veri biliminde, özellikle ikili (örneğin, evet/hayır, başarı/başarısızlık, hasta/sağlıklı) kategorik bağımlı değişkenler olmak üzere, bir dizi bağımsız değişken (tahmin edici) ile aralarındaki ilişkiyi modellemek için en popüler yöntemlerden biridir. Sürekli değerler üreten doğrusal regresyonun aksine, lojistik regresyon bir olayın olasılığını tahmin etmek için tasarlanmıştır, bu nedenle nihai sonuç 0 ile 1 aralığındadır. Bu makalede, lojistik regresyon formülünü, her bir bileşenin anlamını ve nasıl yorumlanacağını ele alacağız.
Lojistik regresyona neden ihtiyaç duyulur?
Olasılıkları tahmin etmek için doğrusal regresyon kullanırsak , model 0'ın altında veya 1'in üzerinde değerler üretebilir ki bu olasılık için açıkça mantıksızdır. Lojistik regresyon, hesaplanan sonucu (herhangi bir değer olabilir) 0 ile 1 arasında bir olasılık değerine eşleyen doğrusal olmayan bir fonksiyon kullanarak bu sorunu ele alır. En yaygın kullanılan fonksiyon lojistik veya sigmoid fonksiyondur.
Örneğin, bir müşterinin yaşına, abonelik süresine ve kullanım sıklığına bağlı olarak aboneliğini iptal edip etmeyeceğini tahmin etmek istediğimizi varsayalım. Tahmin edilen sonuç yalnızca iki olasılığa sahiptir: aboneliği iptal etme (1) veya aboneliği iptal etmeme (0). Lojistik regresyon bu tür durumlar için oldukça uygundur.
Lojistik Regresyonun Temel Formülü
Lojistik regresyonun özü, tahmin değişkeni \( X \)'in değeri verildiğinde, \( Y = 1 \) (olayın gerçekleşmesi) olasılığını \( p \) modellemektir.
Lojistik regresyon modelleri genellikle iki önemli biçimde yazılır:
1) Olasılık Formu (Sigmoid)
\[
p = P(Y=1 \mid X) = \frac{1}{1 + e^{-z}}
\]
dengan
\[
z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Açıklamalar:
– \( p \) olayın olasılığıdır (örneğin: müşteri kaybı = 1).
– \( e \) Euler sayısıdır (yaklaşık 2,71828).
– \( z \) tahmin edicilerin doğrusal bir kombinasyonudur.
– \( \beta_0 \) kesişim noktasıdır (sabit).
– \( \beta_1, \beta_2, \ldots, \beta_k \) regresyon katsayılarıdır.
– \( X_1, X_2, \ldots, X_k \) bağımsız değişkenlerdir.
Sigmoid fonksiyonu, z'nin değeri ne olursa olsun, p'nin değerinin 0 ile 1 arasında kalmasını sağlar.
2) Logit Formu (Log Oranları)
Bir diğer çok önemli form ise, olasılıkların logaritması olan logit formudur:
\[
\text{logit}(p) = \ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k
\]
Açıklamalar:
– \( \frac{p}{1-p} \) olasılık (göreceli şans) olarak adlandırılır.
– \( \ln \) doğal logaritmadır.
Logit formu, lojistik regresyonun aslında log olasılıklarını tahmin edicilerin doğrusal bir fonksiyonu olarak modellediğini açıklar. Bu, özellikle olasılık oranları bağlamında katsayıların yorumlanmasını daha net hale getirir.
Olasılıkları ve Olasılık Oranlarını Anlamak
Lojistik regresyon formülünü gerçekten anlamak için olasılık ve oranlar arasındaki farkı ayırt etmemiz gerekiyor.
– Olasılık \( p \): Bir olayın gerçekleşme şansı (0 ile 1 arası).
– Olasılık: Bir şeyin olma olasılığının, olmama olasılığıyla karşılaştırılması:
\[
olasılıklar = π/1-π
\]
Örnek: eğer \( p = 0{,}8 \), o zaman:
\[
olasılıklar = 0,8 / 0,2 = 4
\]
Bu, olayın gerçekleşme olasılığının gerçekleşmeme olasılığından 4 kat daha yüksek olduğu anlamına gelir.
Lojistik regresyonda, β katsayısı genellikle olasılık oranı üzerinden yorumlanır:
\[
VEYA = e^{\beta}
\]
– Eğer \( \beta > 0 \) ise, o zaman \( e^{\beta} > 1 \): tahmin edici, olayın gerçekleşme olasılığını artırır.
– Eğer \( \beta < 0 \) ise, o zaman \( e^{\beta} < 1 \): tahmin edici, olayın olasılığını azaltır.
– Eğer \( \beta = 0 \) ise, o zaman \( e^{\beta} = 1 \) olur: olasılıklar üzerinde hiçbir etkisi olmaz.
Örneğin, eğer \( \beta_1 = 0{,}7 \) ise:
\[
e^{0{,}7} \approx 2{,}01
\]
Bu, diğer değişkenlerin sabit kaldığı varsayılarak, \( X_1 \)'deki her 1 birimlik artışın olayın gerçekleşme olasılığını yaklaşık 2,01 kat artıracağı anlamına gelir.
Basit bir lojistik regresyon modeli örneği
Diyelim ki sınavda başarılı olup olmadığımızı tahmin etmek için yalnızca bir tahmin değişkenimiz (örneğin haftalık çalışma saati sayısı) var (başarılı = 1, başarısız = 0). Model şu şekildedir:
\[
\text{logit}(p) = \beta_0 + \beta_1
\]
Tahmin sonucu şu şekildeyse:
– \( \beta_0 = -4 \)
– \( \beta_1 = 0{,}8 \)
Bu yüzden:
\[
z = -4 + 0{,}8X
\]
\[
p = \frac{1}{1 + e^{-(-4 + 0{,}8X)}} = \frac{1}{1 + e^{4 – 0{,}8X}}
\]
Eğer \( X = 6 \) saatlik çalışma ise:
\[
z = -4 + 0{,}8(6) = 0{,}8
\]
\[
p = \frac{1}{1 + e^{-0{,}8}} \approx 0{,}69
\]
Yorum: Haftada 6 saat çalışmayla, sınavı geçme olasılığı yaklaşık %69'dur.
Katsayı Tahmini: Neden En Küçük Kareler Yöntemi Kullanılmıyor?
Doğrusal regresyonda katsayılar genellikle en küçük kareler yöntemi kullanılarak hesaplanır. Bununla birlikte, lojistik regresyonda, tahmin ediciler ve olasılıklar arasındaki ilişki doğrusal değildir, bu nedenle en küçük kareler yaklaşımı ideal değildir. Lojistik regresyon genellikle, gözlemlenen verilerin olasılığını maksimize eden katsayı değeri \( \beta \)'yı bulmak için Maksimum Olabilirlik Tahmini (MLE) yöntemini kullanır.
Özetle, ikili gözlemler \( y_i \in \{0,1\} \) ve tahminler \( p_i \) için olasılık şöyledir:
\[
L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{(1-y_i)}
\]
Daha sonra hesaplamayı kolaylaştırmak için genellikle log-olabilirlik fonksiyonuna dönüştürülür:
\[
\ell(\beta) = \sum_{i=1}^{n} \left[ y_i \ln(p_i) + (1-y_i)\ln(1-p_i) \right]
\]
\( \beta \) değeri, \( \ell(\beta) \)'yı maksimize edecek şekilde seçilir. İstatistiksel yazılımlar genellikle Newton-Raphson veya gradyan inişi gibi sayısal yöntemler kullanır.
Lojistik Regresyonun Avantajları ve Sınırlamaları
Aşırı
1. Sonuçlar olasılık biçiminde olduğundan, kararlara dönüştürülmesi kolaydır.
2. Katsayının yorumlanması olasılık oranı aracılığıyla açıkça anlaşılmaktadır.
3. İkili sınıflandırma problemlerine uygundur ve çok terimli/sıralı sınıflandırmaya da genişletilebilir.
Sınırlamalar
1. Olasılıkla doğrudan bir ilişki yerine, tahmin ediciler ile log olasılıkları arasında doğrusal bir ilişki varsayar.
2. Çoklu doğrusallık varsa veya veriler çok dengesizse sorun yaratabilir.
3. Çok karmaşık ilişki modelleri için, diğer doğrusal olmayan yöntemler (örneğin rastgele orman veya sinir ağı) daha üstün olabilir.
Kapanış
Lojistik regresyon formülü, temelde tahmin değişkenlerinin doğrusal bir kombinasyonunu bir sigmoid fonksiyonuyla birleştirerek olasılıklar üretir. En yaygın biçimi şöyledir:
\[
p = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k)}}
\]
veya logit biçiminde:
\[
\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_k X_k
\]
Formülün bu iki biçimini anlayarak, değişkenlerin etkisini olasılık oranı \( e^{\beta} \) aracılığıyla yorumlarken çeşitli ikili sınıflandırma problemleri için tahmine dayalı modeller oluşturabiliriz. Lojistik regresyon, basit, güçlü ve yorumlanabilir olması nedeniyle veri analizinde önemli bir temel olmaya devam etmektedir ve genellikle daha karmaşık modelleri denemeden önce atılan ilk adımdır.
İsterseniz, küçük veri setleriyle (tablo) örnek bir hesaplama veya Python/R'da lojistik regresyonun örnek bir uygulamasını ve çıktının yorumunu ekleyebilirim.
