İstatistiklerde Aykırı Değer Nedir?
İstatistik biliminde, veri, olguları anlamanın temel ham maddesidir: tüketici davranışı, test sonuçları, hasta sağlığı, üretim kalitesi ve hatta ekonomik eğilimler. Ancak, tüm veri noktaları çoğunluk gibi "davranmaz". Bazen, veri kümesinin geri kalanından önemli ölçüde farklı görünen bir veya daha fazla değerle karşılaşırız. Bu aykırı değerler, uç değerler olarak bilinir. Aykırı değerleri anlamak önemlidir çünkü analitik sonuçları değiştirebilir, tahmin modellerini etkileyebilir ve hatta araştırılmaya değer önemli olaylara işaret edebilirler.
Aykırı Değerleri Anlamak
Basitçe ifade etmek gerekirse, aykırı değer, verilerin çoğunluğundan önemli ölçüde farklılık gösteren bir gözlem veya veri değeridir. Aykırı değerler, genel kalıptan daha yüksek (aşırı yüksek) veya daha düşük (aşırı düşük) olabilir. Örneğin, öğrencilerin test puanlarının çoğunluğu 60-90 aralığında ise ve 5 veya 100 gibi tek bir puan önemli ölçüde sapma gösteriyorsa, bu puanın aykırı değer olduğundan şüphelenilmelidir.
Şunu vurgulamak önemlidir: Aykırı değer her zaman bir "hata" anlamına gelmez. Aykırı değer, yalnızca değerin veri kümesine kıyasla alışılmadık olduğunu gösterir. Aykırı değerler, girdi hatalarından, arızalı ölçüm cihazlarından kaynaklanabilir veya nadir ancak önemli gerçek dünya olaylarını yansıtabilir.
Basit bir örnek
10 kişinin aylık gelir verilerini (milyon rupi cinsinden) hayal edin:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Burada, 50 sayısı diğerlerine kıyasla oldukça göze çarpıyor. 50 bir hata mı? Yanlış okuma olabilir (doğrusu 5,0 olmalı), ancak kişinin büyük bir işletme sahibi olması nedeniyle doğru da olabilir. Her iki durumda da, 50 bir aykırı değer olarak kalır; farklı olan, analizde ona nasıl yaklaştığımızdır.
Aykırı Değerler Neden Ortaya Çıkar?
Aykırı değerlerin ortaya çıkmasının birkaç yaygın nedeni vardır:
1. Ölçüm veya alet hatası
Örneğin, bir sıcaklık sensörü, parazit nedeniyle bazen aşırı değerler okuyabilir.
2. Veri kaydı veya girişindeki hatalar
Klasik örnekler: 100 yerine 1000 yazmak veya yanlış birim kullanmak (cm yerine m).
3. Doğal varyasyon
Gerçek dünyada nadir de olsa gerçekçi olaylar yaşanır: büyük bir promosyon nedeniyle satışlarda ani artış, bir hastanın ilaca alışılmadık bir tepki vermesi veya bir sporcunun olağanüstü bir rekor kırması gibi.
4. Süreç veya koşullardaki değişiklikler
Örneğin, bir fabrikada belirli bir günde makine arızası yaşanır ve bu da kusurlu ürün sayısının önemli ölçüde artmasına neden olur.
5. Karma popülasyonlar
Bir veri kümesi, bir araya getirilmiş birkaç farklı grubu içerebilir. Örneğin, ortaokul ve üniversite öğrencilerinin boy uzunlukları birbirine karışmış olabilir; bazı "aşırı" değerler anormalliklerden değil, grupların gerçekten farklı olmasından kaynaklanabilir.
Aykırı Değerlerin İstatistiksel Analiz Üzerindeki Etkisi
Aykırı değerler önemlidir çünkü özellikle aşırı değerlere duyarlı yöntemlerde analiz sonuçlarını önemli ölçüde etkileyebilirler.
1. Ortalamayı (aritmetik ortalamayı) etkiler.
Ortalama, aşırı değerler tarafından kolayca "çekilebilir". Yukarıdaki gelir örneğinde, çoğunluk 5-8 civarında olsa bile, 50 değeri ortalamayı önemli ölçüde şişirecektir.
2. Etki standart sapma ve varyans
Karena varyans hesaplaması Ortalamadan kare farklarını içeren aykırı değerler, varyansı ve standart sapmayı şişirerek verilerin gerçekte olduğundan daha "yayılmış" gibi görünmesine neden olabilir.
3. Regresyon modelini bozmak ve makine öğrenme
içinde doğrusal regresyonAykırı değerler regresyon çizgisini bozarak verilerin büyük çoğunluğu için tahminlerin yetersiz olmasına neden olabilir. Bazı algoritmalarda, aykırı değerler modelin aşırı uyum sağlamasına veya eğitim parametrelerini etkilemesine yol açabilir.
4. Etki hipotez testi
Aykırı değerler, parametrik testlerde sıklıkla kullanılan normallik ve varyans homojenliği varsayımlarını ihlal edebilir, bu nedenle istatistiksel sonuçlar yanlı hale gelebilir.
Ancak, aykırı değerler de önemli sinyaller olabilir. Dolandırıcılık tespitinde, tam olarak aradığımız şey aykırı işlemlerdir. Sağlık sektöründe, önemli ölçüde farklı laboratuvar sonuçları ciddi bir tıbbi duruma işaret edebilir.
Aykırı Değerler Nasıl Tespit Edilir?
Tek bir "doğru" yöntem yoktur. Aykırı değer tespiti genellikle bağlama, veri türüne ve analiz hedeflerine bağlıdır. İşte bazı yaygın yöntemler:
1. Görselleştirme: Kutu grafiği ve Dağılım grafiği
– Kutu grafikleri, aykırı değerleri tespit etmek için çok popülerdir. Kutu grafiğinde, aykırı değerler genellikle bıyık kutusunun dışında kalan noktalar olarak işaretlenir.
– Saçılım grafikleri, örneğin ağırlık ve boy gibi iki değişken arasındaki ilişkideki aykırı değerleri görmeye yardımcı olur.
Görselleştirme, hızlı ve sezgisel olduğu için ilk adım olarak faydalıdır.
2. IQR (Çeyrekler Arası Aralık) Yöntemi
IQR yöntemi genellikle tek değişkenli veriler (univariate) için kullanılır.
– Q1 (1. çeyrek) ve Q3'ü (3. çeyrek) hesaplayın.
– Çeyrekler Arası Aralık (IQR) = Q3 − Q1
– Alt sınır = Q1 − 1,5 × IQR
– Üst sınır = Q3 + 1,5 × IQR
Bu sınırların dışındaki değerler genellikle aykırı değerler olarak kabul edilir. Bu yöntem, aşırı değerlerden büyük ölçüde etkilenmediği için nispeten sağlamdır.
3. Z-skoru (ortalama ve standart sapmaya dayalı)
Z-skoru, bir değerin belirli bir değerden ne kadar uzak olduğunu ölçer. sapma birimleri cinsinden ortalama standart.
– z = (x − ortalama) / standart sapma
|z| > 3 (bazen > 2,5) olan değerler genellikle aykırı değerler olarak kabul edilir.
Zayıflık: Veriler zaten büyük aykırı değerler içeriyorsa, ortalama ve standart sapma etkilenir ve bu da tespitin doğruluğunu azaltabilir.
4. Model tabanlı ve çok değişkenli yöntemler
Çok değişkenli verilerde, aykırı değerler her zaman yalnızca bir sütunda değil, birkaç değişkenin birleşiminde de görünür.
– Mahalanobis mesafesi genellikle çok değişkenli aykırı değerleri tespit etmek için kullanılır.
– Makine öğreniminde, İzolasyon Ormanı, Yerel Aykırı Değer Faktörü (LOF) veya Tek Sınıflı SVM gibi yaklaşımlar mevcuttur.
Bu yöntem, örneğin finansal işlem anormalliklerinin tespiti gibi büyük ve karmaşık veri kümeleri için uygundur.
Aykırı bir değer bulursanız ne yapmalısınız?
En iyi çözüm, onları basitçe silmek değildir. Genel olarak, aykırı değerlerin ele alınması süreci birkaç adımdan oluşur:
1. Veri doğrulama
– Yanlış giriş, mükerrer kayıt veya yanlış birim olup olmadığını kontrol edin.
– Orijinal veri kaynağıyla karşılaştırın (örneğin formlar, sensör kayıtları veya manuel kayıtlar).
2. Bağlamı anlayın
– Aşırı değerler bu alanda mantıklı mı?
– Örneğin, insan vücut sıcaklığının 50°C olması neredeyse kesinlikle yanlıştır; ancak 50 milyonluk bir gelir makul olabilir.
3. Analizin amacını belirleyin.
– Eğer amaç “genel” davranışı anlamaksa, aykırı değerlerin baskın hale gelmesini önlemek için bunların ele alınması gerekebilir.
– Eğer amaç nadir olayları (dolandırıcılık, makine arızası) bulmaksa, asıl odak noktası aykırı değerlerdir.
4. Bir müdahale stratejisi seçin
Bazı yaygın seçenekler:
– Kaldırma: Aykırı değerin bir hata olduğu ve temsili nitelikte olmadığı kanıtlanırsa yapılır.
– Veri dönüşümü: örneğin, çarpık dağılımlı veriler için logaritma dönüşümü.
– Winsorizasyon/sınırlandırma: Aşırı değerleri belirli yüzdelik dilimlerle (örneğin p1 ve p99) sınırlandırma.
– Sağlam yöntemler kullanın: medyan, çeyrekler arası aralık (IQR), sağlam regresyon veya aykırı değerlere dayanıklı modeller.
– Ayrı analiz: Bazen aykırı değerleri özel durumlar olarak analiz etmek daha uygun olabilir.
Önemli olan, analizin şeffaf ve hesap verebilir olması için kararların belgelendirilmesidir.
Aykırı Değerler: Sorun mu, Değerli Bilgi mi?
Aykırı değerler, istatistiksel özetleri bozabildikleri için genellikle "gürültü" olarak kabul edilir. Ancak birçok durumda, aykırı değerler yeni içgörülere açılan kapıdır: üst düzey bir müşteri segmentinin varlığı, dikkat gerektiren bir hasta durumu, üretim sürecinde yeni bir aşama veya potansiyel dolandırıcılık. Bu nedenle, aykırı değerler otomatik olarak göz ardı edilmemeli, araştırılması gereken bir şey olarak ele alınmalıdır.
Sonuç
İstatistikte aykırı değer, verilerin genel örüntüsünden önemli ölçüde sapan bir değerdir. Aykırı değerler, hatalar, doğal varyasyon, süreç değişiklikleri veya bir veri kümesi içindeki grup farklılıkları nedeniyle ortaya çıkabilir. Bunların ortalama, varyans, istatistiksel testler ve tahmin modelleri üzerinde önemli etkileri olabilir. Aykırı değer tespiti, görselleştirme, çeyrekler arası aralık (IQR) yöntemleri, z-skorları ve hatta çok değişkenli yaklaşımlar ve makine öğrenimi yoluyla gerçekleştirilebilir. İşlem, bağlamı ve hedefleri dikkate almalıdır: doğrulama, nedenleri anlama ve ardından kaldırma, dönüştürme, değerleri sınırlandırma veya sağlam yöntemler kullanma gibi bir strateji seçme.
Doğru anlaşıldığında, aykırı değerler sadece "garip sayılar" değil, veriye dayalı analiz ve kararların kalitesini artırabilecek istatistiksel uygulamanın önemli unsurlarıdır.
