Какво е отклонение в статистиката
В статистиката данните са основната суровина за разбиране на явления: потребителско поведение, резултати от тестове, здраве на пациентите, качество на производството и дори икономически тенденции. Не всички точки от данни обаче се „държат“ като мнозинството. Понякога се натъкваме на една или повече стойности, които изглеждат значително различни от останалата част от набора от данни. Тези отклонения са известни като отклонения. Разбирането на отклоненията е важно, защото те могат да променят аналитичните заключения, да повлияят на прогнозните модели и дори да посочат важни събития, които си струва да бъдат проучени.
Разбиране на отклоненията
Казано по-просто, отклонение е наблюдение или стойност на данните, която се различава значително от по-голямата част от данните. Отклоненията могат да бъдат по-високи (изключително високи) или по-ниски (изключително ниски) от общата закономерност. Например, ако резултатите на повечето ученици на тестовете попадат в диапазона 60–90 и един резултат от 5 или 100 се отклонява значително, този резултат трябва да се счита за отклонение.
Важно е да се подчертае: отклонение не винаги означава „грешка“. Отклонението просто показва, че стойността е необичайна в сравнение с набора от данни. Отклоненията могат да възникнат от грешки при въвеждане, дефектни измервателни уреди или просто да отразяват редки, но значими събития от реалния свят.
Прост пример
Представете си данните за месечния доход (в милиони рупии) на 10 души:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Тук числото 50 рязко се откроява в сравнение с останалите. Дали 50 е грешка? Възможно е да е неправилно тълкуване (трябва да е 5,0), но може и да е правилно, защото човекът е собственик на голям бизнес. И в двата случая 50 си остава отклонение – разликата е в начина, по който го третираме в анализа.
Защо се появяват отклонения?
Има няколко често срещани причини за появата на отклонения:
1. Грешка в измерването или инструмента
Например, температурен сензор понякога може да отчита екстремни стойности поради смущения.
2. Грешки при записване или въвеждане на данни
Класически примери: въвеждане на 1000 вместо 100 или грешни мерни единици (cm срещу m).
3. Естествено изменение
В реалния свят има редки, но реалистични явления: скок в продажбите поради голяма промоция, пациент има необичайна реакция към лекарство или спортист поставя екстремен рекорд.
4. Промени в процеса или условията
Например, в дадена фабрика се случва машинна повреда в определен ден, което води до драстично увеличение на броя на дефектните продукти.
5. Смесени популации
Наборът от данни може да съдържа няколко различни групи комбинирани. Например, ръстът на учениците от средното училище и колежа е смесен; някои „екстремни“ стойности може да се появят не поради аномалии, а защото групите са наистина различни.
Влиянието на отклоненията върху статистическия анализ
Отклоненията са важни, защото могат значително да повлияят на резултатите от анализа, особено при методи, които са чувствителни към екстремни стойности.
1. Влияе на средната (средна) стойност
Средната стойност лесно се „извлича“ от екстремни стойности. В примера с дохода по-горе, средната стойност би била значително завишена със стойност 50, въпреки че повечето са около 5–8.
2. Влияе на стандартното отклонение и дисперсията
Тъй като изчисленията на дисперсията включват квадратни разлики от средната стойност, отклоненията могат да завишат дисперсията и стандартното отклонение, което създава впечатлението, че данните са по-„разпръснати“, отколкото са в действителност.
3. Смущаващи регресионни и машинно-обучащи модели
При линейната регресия, отклоненията могат да изкривят регресионната линия, което прави прогнозите лоши за по-голямата част от данните. В някои алгоритми, отклоненията могат да доведат до пренапасване на модела или да повлияят на параметрите за обучение.
4. Тестване на хипотези за влияние
Отклоненията могат да нарушат предположенията за нормалност и хомогенност на дисперсията, които често се използват в параметричните тестове, така че статистическите заключения да станат предубедени.
Въпреки това, отклоненията могат да бъдат и важни сигнали. При разкриването на измами, транзакциите с отклонения са точно това, което искаме да търсим. В здравеопазването, значително различните лабораторни резултати могат да показват сериозно медицинско състояние.
Как да открием отклонения
Няма един-единствен „правилен“ метод. Откриването на отклонения често зависи от контекста, типа данни и целите на анализа. Ето някои често срещани методи:
1. Визуализация: Boxplot и Scatterplot
– Кутиевите диаграми са много популярни за откриване на отклонения. В кутията отклоненията обикновено се маркират като точки, които попадат извън кутията с нишки.
– Точковите диаграми помагат да се видят отклонения във връзката между две променливи, например тегло спрямо височина.
Визуализацията е полезна като първа стъпка, защото е бърза и интуитивна.
2. Метод на IQR (интерквартилен диапазон)
Методът IQR често се използва за данни с една променлива (унивариатни).
– Изчислете Q1 (квартил 1) и Q3 (квартил 3)
– IQR = Q3 − Q1
– Долна граница = Q1 − 1,5 × IQR
– Горна граница = Q3 + 1,5 × IQR
Стойностите извън тези граници обикновено се считат за отклонения. Този метод е относително надежден, защото не се влияе силно от екстремни стойности.
3. Z-оценка (базирана на средна стойност и стандартно отклонение)
Z-стойността измерва колко далеч е дадена стойност от средната стойност в единици стандартно отклонение.
– z = (x − средна стойност) / стандартно отклонение
Стойности с |z| > 3 (понякога > 2,5) често се считат за отклонения.
Слабост: ако данните вече съдържат големи отклонения, средната стойност и стандартното отклонение са засегнати, така че откриването може да бъде по-малко точно.
4. Моделно-базирани и многовариантни методи
При многопроменливи данни, отклоненията не винаги са видими само в една колона, а в комбинация от няколко променливи.
– Разстоянието на Махаланобис често се използва за откриване на многовариантни отклонения.
– В машинното обучение съществуват подходи като Изолационна гора, Локален фактор на отклонения (LOF) или Еднокласова SVM.
Този метод е подходящ за големи и сложни набори от данни, например откриване на аномалии във финансовите транзакции.
Какво да направите, ако откриете отклонение?
Най-добрият начин на действие не е просто да ги изтриете. Обикновено процесът на обработка на отклонения включва няколко стъпки:
1. Проверка на данните
– Проверете за неправилно въвеждане, дублиране или неправилни мерни единици.
– Сравнете с оригиналния източник на данни (напр. формуляри, регистрационни файлове на сензори или ръчни записи).
2. Разберете контекста
– Имат ли смисъл екстремните стойности в областта?
– Например, телесна температура от 50°C почти сигурно е погрешна; но доход от 50 милиона може да е разумен.
3. Определете целта на анализа
– Ако целта е да се разбере „общото“ поведение, може да се наложи да се обработят отклоненията, за да се предотврати тяхното доминиране.
– Ако целта е да се открият редки събития (измама, повреда на машината), основният фокус е върху отклоненията.
4. Изберете стратегия за работа
Някои често срещани опции:
– Премахване: извършва се, ако се докаже, че отклонението е грешка и не е представително.
– Трансформация на данни: например логаритмична трансформация за асиметрични данни.
– Ограничаване на екстремните стойности / ограничаване на ограниченията: ограничаване на екстремните стойности до определени процентили (напр. p1 и p99).
– Използвайте устойчиви методи: медиана, IQR, устойчива регресия или модели, устойчиви на отклонения.
– Отделен анализ: понякога е по-подходящо да се анализират отклоненията като специални случаи.
Важно е решенията да бъдат документирани, така че анализът да бъде прозрачен и отчетен.
Отклонения: Проблем или ценна информация?
Отклоненията често се считат за „шум“, защото могат да изкривят статистическите обобщения. В много случаи обаче отклоненията са врата към нови прозрения: съществуването на първокласен клиентски сегмент, състояние на пациента, което изисква внимание, нова фаза в производствения процес или потенциална измама. Следователно, отклоненията трябва да се третират като нещо, което трябва да бъде разследвано, а не автоматично отхвърляно.
Заключение
Отклонение в статистиката е стойност, която се отклонява значително от общия модел на данните. Отклоненията могат да възникнат поради грешки, естествени вариации, промени в процесите или групови различия в рамките на набор от данни. Тяхното въздействие може да бъде значително върху средната стойност, дисперсията, статистическите тестове и предсказуемите модели. Откриването на отклонения може да се постигне чрез визуализация, IQR методи, z-резултати и дори многовариантни подходи и машинно обучение. Работата с тях трябва да отчита контекста и целите: проверка, разбиране на причините и след това избор на стратегия, като премахване, трансформиране, ограничаване на стойности или използване на надеждни методи.
С правилно разбиране, отклоненията не са просто „нечетни числа“, а по-скоро важни елементи от статистическата практика, които могат да подобрят качеството на анализа и решенията, основани на данни.
