Што е отстапување во статистиката
Во статистиката, податоците се примарна суровина за разбирање на феномените: однесувањето на потрошувачите, резултатите од тестовите, здравјето на пациентите, квалитетот на производството, па дури и економските трендови. Сепак, не сите податочни точки се „однесуваат“ како мнозинството. Понекогаш наидуваме на една или повеќе вредности кои изгледаат значително различни од остатокот од збирот на податоци. Овие отстапувања се познати како отстапувања. Разбирањето на отстапувањата е важно бидејќи тие можат да ги променат аналитичките заклучоци, да влијаат на предикативните модели, па дури и да укажат на важни настани што вреди да се истражат.
Разбирање на аутлиери
Едноставно кажано, отстапување е набљудување или вредност на податоци што значително се разликува од поголемиот дел од податоците. Отстапувањата можат да бидат повисоки (екстремно високи) или пониски (екстремно ниски) од општиот модел. На пример, ако повеќето резултати од тестовите на учениците се во опсегот од 60–90, а еден резултат од 5 или 100 значително отстапува, тој резултат треба да се смета за отстапување.
Важно е да се нагласи: отстапувањето не секогаш значи „грешка“. Отстапувањето едноставно означува дека вредноста е невообичаена во споредба со збирот на податоци. Отстапувањата можат да произлезат од грешки во внесувањето, неисправни мерни инструменти или едноставно да одразуваат ретки, но значајни настани од реалниот свет.
Едноставен пример
Замислете ги податоците за месечниот приход (во милиони рупии) на 10 лица:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Тука, бројот 50 се издвојува остро во споредба со другите. Дали 50 е грешка? Можеби е погрешно толкување (треба да биде 5,0), но може да биде и точно бидејќи лицето е сопственик на голем бизнис. Во секој случај, 50 останува исклучок - она што е различно е начинот на кој го третираме во анализата.
Зошто се појавуваат аутлијардерите?
Постојат неколку вообичаени причини за појава на отстапувања:
1. Грешка во мерењето или алатката
На пример, сензорот за температура понекогаш може да чита екстремни вредности поради пречки.
2. Грешки при евидентирање или внесување податоци
Класични примери: пишување 1000 наместо 100 или погрешни единици (cm наспроти m).
3. Природна варијација
Во реалниот свет, постојат ретки, но реални феномени: скок на продажбата поради голема промоција, пациент има невообичаен одговор на лек или спортист поставува екстремен рекорд.
4. Промени во процесот или условите
На пример, во одреден ден, фабриката доживува дефект на машината, што предизвикува драстично зголемување на бројот на неисправни производи.
5. Мешани популации
Еден збир на податоци може да содржи неколку различни групи заедно. На пример, висините на учениците од основно училиште и на факултет се мешани; некои „екстремни“ вредности може да се појават не поради аномалии, туку затоа што групите се навистина различни.
Влијанието на екстремните вредности врз статистичката анализа
Отстапувањата се важни бидејќи можат значително да влијаат на резултатите од анализата, особено кај методите што се чувствителни на екстремни вредности.
1. Влијае на просекот (средна вредност)
Средната вредност лесно се „извлекува“ од екстремните вредности. Во примерот за приход погоре, средната вредност би била значително зголемена за вредност од 50, иако мнозинството се околу 5–8.
2. Влијае на стандардната девијација и варијансата
Бидејќи пресметките на варијансата вклучуваат квадратни разлики од средната вредност, отстапувањата можат да ја зголемат варијансата и стандардната девијација, правејќи да изгледа како податоците да се повеќе „раширени“ отколку што се всушност.
3. Вознемирувачки модели на регресија и машинско учење
Кај линеарната регресија, отстапувањата можат да ја искриват регресионата линија, правејќи ги предвидувањата слаби за поголемиот дел од податоците. Кај некои алгоритми, отстапувањата можат да предизвикаат моделот да се пренамести или да влијае на параметрите за обука.
4. Влијание врз тестирањето на хипотези
Отстапувањата можат да ги прекршат претпоставките за нормалност и хомогеност на варијансата што често се користат во параметарските тестови, така што статистичките заклучоци стануваат пристрасни.
Сепак, отстапувањата можат да бидат и важни сигнали. При откривање на измами, трансакциите со отстапувања се токму она што сакаме да го бараме. Во здравството, значително различните лабораториски резултати можат да укажуваат на сериозна медицинска состојба.
Како да се откријат отстапувања
Не постои еден „правилен“ метод. Детекцијата на отстапувања често зависи од контекстот, типот на податоци и целите на анализата. Еве неколку вообичаени методи:
1. Визуелизација: Boxplot и Scatterplot
– Кутија-дијаграмите се многу популарни за забележување на отстапувања. Во кутија-дијаграмот, отстапувањата обично се означуваат како точки што паѓаат надвор од кутијата со мустаќи.
– Расејувачките дијаграми помагаат да се видат отстапувања во односот помеѓу две променливи, на пример тежина наспроти висина.
Визуелизацијата е корисна како прв чекор бидејќи е брза и интуитивна.
2. IQR (Меѓуквартилен опсег) метод
Методот IQR често се користи за податоци со една променлива (униваријантни).
– Пресметајте Q1 (квартил 1) и Q3 (квартил 3)
– IQR = Q3 − Q1
– Долна граница = Q1 − 1,5 × IQR
– Горна граница = Q3 + 1,5 × IQR
Вредностите надвор од овие граници обично се сметаат за отстапувања. Овој метод е релативно робустен бидејќи не е многу засегнат од екстремните вредности.
3. Z-оценка (врз основа на средна вредност и стандардна девијација)
Z-резултатот мери колку е оддалечена вредноста од средната вредност во единици за стандардна девијација.
– z = (x − средна вредност) / sd
Вредностите со |z| > 3 (понекогаш > 2,5) често се сметаат за отстапувања.
Слабост: ако податоците веќе содржат големи отстапувања, средната вредност и sd се засегнати, така што откривањето може да биде помалку точно.
4. Методи базирани на модел и повеќеваријантни методи
За податоци со повеќе варијабли, отстапувањата не се секогаш видливи само во една колона, туку во комбинација од неколку варијабли.
– Растојанието Махаланобис често се користи за откривање на повеќеваријантни отстапувања.
– Во машинското учење, постојат пристапи како што се Изолациона шума, Локален фактор на отстапувања (LOF) или Еднокласен SVM.
Овој метод е погоден за големи и сложени бази на податоци, на пример за откривање на аномалии во финансиски трансакции.
Што да направите ако најдете аутсајдер?
Најдобриот тек на дејствување не е едноставно да ги избришете. Општо земено, процесот на ракување со отстапувања вклучува неколку чекори:
1. Верификација на податоци
– Проверете за неточен внес, дупликат или неточни единици.
– Споредете со оригиналниот извор на податоци (на пр. формулари, дневници на сензори или рачни записи).
2. Разберете го контекстот
– Дали екстремните вредности имаат смисла во доменот?
– На пример, температурата на човечкото тело од 50°C е речиси сигурно погрешна; но приход од 50 милиони може да биде разумен.
3. Определете ја целта на анализата
– Ако целта е да се разбере „општото“ однесување, можеби ќе треба да се обработуваат отстапувањата за да се спречи нивно доминирање.
– Ако целта е да се пронајдат ретки настани (измама, дефект на машината), главниот фокус се исклучителните настани.
4. Изберете стратегија за ракување
Некои вообичаени опции:
– Отстранување: се врши ако се докаже дека отстапувањето е грешка и не е репрезентативно.
– Трансформација на податоци: на пример логаритамска трансформација за искривени податоци.
– Winsorizing / capping: ограничување на екстремните вредности на одредени перцентили (на пр. p1 и p99).
– Користете робусни методи: медијана, IQR, робусна регресија или модели отпорни на отстапувања.
– Одделна анализа: понекогаш е посоодветно да се анализираат отстапувањата како посебни случаи.
Важно е да се напомене дека одлуките мора да бидат документирани, така што анализата ќе биде транспарентна и одговорна.
Отстапувања: Проблем или вредни информации?
Отстапувањата често се сметаат за „шум“ бидејќи можат да ги нарушат статистичките резимеа. Сепак, во многу случаи, отстапувањата се порта кон нови сознанија: постоење на премиум сегмент на клиенти, состојба на пациент што бара внимание, нова фаза во процесот на производство или потенцијална измама. Затоа, отстапувањата треба да се третираат како нешто што треба да се испита, а не автоматски да се отфрлаат.
Заклучок
Отстапување во статистиката е вредност што значително отстапува од општиот модел на податоците. Отстапувањата можат да се појават поради грешки, природни варијации, промени во процесот или групни разлики во рамките на еден збир на податоци. Нивното влијание може да биде значајно врз средната вредност, варијансата, статистичките тестови и предикативните модели. Откривањето на отстапувања може да се постигне преку визуелизација, методи на IQR, z-оценки, па дури и повеќеваријантни пристапи и машинско учење. Ракувањето мора да го земе предвид контекстот и целите: проверка, разбирање на причините, а потоа избор на стратегија како што се отстранување, трансформирање, ограничување на вредностите или користење робусни методи.
Со правилно разбирање, отстапувањата не се само „непарни броеви“, туку важни елементи на статистичката пракса што можат да го подобрат квалитетот на анализата и одлуките засновани на податоци.
