Что такое выброс в статистике?
В статистике данные являются основным исходным материалом для понимания явлений: поведения потребителей, результатов анализов, состояния здоровья пациентов, качества продукции и даже экономических тенденций. Однако не все точки данных «ведут себя» как большинство. Иногда мы сталкиваемся с одним или несколькими значениями, которые значительно отличаются от остального набора данных. Эти выбросы известны как аномальные значения. Понимание аномальных значений важно, поскольку они могут изменять аналитические выводы, влиять на прогностические модели и даже указывать на важные события, заслуживающие изучения.
Понимание выбросов
Проще говоря, выброс — это наблюдение или значение данных, которое значительно отличается от большинства данных. Выбросы могут быть выше (чрезвычайно высокими) или ниже (чрезвычайно низкими) по сравнению с общей закономерностью. Например, если большинство результатов тестов учащихся находятся в диапазоне 60–90, а один результат в 5 или 100 значительно отклоняется от нормы, то этот результат следует рассматривать как выброс.
Важно подчеркнуть: выброс не всегда означает «ошибку». Выброс просто указывает на то, что значение необычно по сравнению с набором данных. Выбросы могут возникать из-за ошибок ввода, неисправных измерительных приборов или просто отражать редкие, но значимые события из реальной жизни.
Простой пример
Представьте себе данные о ежемесячном доходе (в миллионах рупий) 10 человек:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Здесь число 50 резко выделяется на фоне остальных. Является ли 50 ошибкой? Это может быть неправильное прочтение (должно быть 5,0), но это также может быть правильно, поскольку человек является владельцем крупного бизнеса. В любом случае, 50 остается выбросом — разница лишь в том, как мы его обрабатываем в анализе.
Почему появляются выбросы?
Существует несколько распространенных причин появления выбросов:
1. Ошибка измерения или инструментальная ошибка.
Например, датчик температуры иногда может показывать экстремальные значения из-за помех.
2. Ошибки при записи или вводе данных.
Классические примеры: ввод 1000 вместо 100 или неправильные единицы измерения (см против м).
3. Естественная изменчивость
В реальном мире встречаются редкие, но вполне реалистичные явления: резкий рост продаж благодаря крупной рекламной кампании, необычная реакция пациента на лекарство или рекорд, установленный спортсменом.
4. Изменения в процессах или условиях.
Например, в определенный день на заводе происходит поломка оборудования, что приводит к резкому увеличению количества бракованной продукции.
5. Смешанные популяции
Набор данных может содержать несколько различных групп, объединенных вместе. Например, рост учащихся средних школ и студентов колледжей смешанный; некоторые «экстремальные» значения могут появляться не из-за аномалий, а потому что группы действительно разные.
Влияние выбросов на статистический анализ
Выбросы важны, поскольку они могут существенно повлиять на результаты анализа, особенно в методах, чувствительных к экстремальным значениям.
1. Влияет на среднее значение (среднее арифметическое).
Среднее значение легко "искажается" экстремальными значениями. В приведенном выше примере с доходами среднее значение было бы значительно завышено на 50, даже несмотря на то, что большинство значений составляют около 5–8.
2. Влияет на стандартное отклонение и дисперсию.
Поскольку при вычислении дисперсии используются квадраты разностей от среднего значения, выбросы могут завышать дисперсию и стандартное отклонение, создавая впечатление, что данные более «разбросаны», чем на самом деле.
3. Модели регрессии и машинного обучения, вызывающие затруднения.
В линейной регрессии выбросы могут искажать линию регрессии, делая прогнозы неточными для большинства данных. В некоторых алгоритмах выбросы могут привести к переобучению модели или повлиять на параметры обучения.
4. Проверка гипотез влияния
Выбросы могут нарушать предположения о нормальности распределения и однородности дисперсии, которые часто используются в параметрических тестах, что приводит к предвзятости статистических выводов.
Однако выбросы также могут быть важными сигналами. В обнаружении мошенничества именно на аномальные транзакции нам и нужно обращать внимание. В здравоохранении значительно отличающиеся результаты лабораторных анализов могут указывать на серьезное заболевание.
Как обнаружить выбросы
Единого «правильного» метода не существует. Выявление выбросов часто зависит от контекста, типа данных и целей анализа. Вот несколько распространенных методов:
1. Визуализация: ящичная диаграмма и диаграмма рассеяния.
– Диаграммы размаха очень популярны для выявления выбросов. На диаграмме размаха выбросы обычно обозначаются точками, выходящими за пределы прямоугольника.
– Диаграммы рассеяния помогают выявить выбросы во взаимосвязи между двумя переменными, например, между весом и ростом.
Визуализация полезна в качестве первого шага, поскольку она быстрая и интуитивно понятная.
2. Метод межквартильного размаха (IQR).
Метод межквартильного размаха (IQR) часто используется для анализа одномерных данных (одномерных).
– Рассчитайте Q1 (первый квартиль) и Q3 (третий квартиль).
– Межквартильный размах = Q3 − Q1
– Нижний предел = Q1 − 1,5 × IQR
– Верхний предел = Q3 + 1,5 × IQR
Значения, выходящие за эти пределы, обычно считаются выбросами. Этот метод достаточно надежен, поскольку на него не сильно влияют экстремальные значения.
3. Z-показатель (на основе среднего значения и стандартного отклонения)
Z-показатель измеряет, насколько значение отличается от среднего значения в единицах стандартного отклонения.
– z = (x − среднее) / стандартное отклонение
Значения с |z| > 3 (иногда > 2,5) часто считаются выбросами.
Недостаток: если данные уже содержат большие выбросы, это влияет на среднее значение и стандартное отклонение, что может снизить точность обнаружения.
4. Методы, основанные на моделях и многомерные методы
В случае многофакторных данных выбросы не всегда видны только в одном столбце, а в комбинации нескольких переменных.
– Расстояние Махаланобиса часто используется для выявления многомерных выбросов.
– В машинном обучении существуют такие подходы, как Isolation Forest, Local Outlier Factor (LOF) или One-Class SVM.
Этот метод подходит для обработки больших и сложных наборов данных, например, для выявления аномалий в финансовых транзакциях.
Что делать, если вы обнаружили аномальное значение?
Наилучшим решением будет не просто удалить их. Как правило, процесс обработки выбросов включает в себя несколько этапов:
1. Проверка данных
– Проверьте наличие некорректного ввода, дублирования или неправильных единиц измерения.
– Сравните с исходным источником данных (например, формами, журналами датчиков или записями, сделанными вручную).
2. Поймите контекст.
– Имеют ли крайние значения смысл в данной области?
– Например, температура человеческого тела в 50°C почти наверняка неверна; но доход в 50 миллионов может быть вполне разумным.
3. Определите цель анализа.
– Если цель состоит в понимании «общего» поведения, то, возможно, потребуется принять меры в отношении выбросов, чтобы предотвратить их доминирование.
– Если цель состоит в выявлении редких событий (мошенничество, отказ оборудования), то основное внимание уделяется выбросам.
4. Выберите стратегию обращения с животным.
Некоторые распространенные варианты:
– Удаление: производится, если доказано, что выброс является ошибкой, а не репрезентативным значением.
– Преобразование данных: например, логарифмическое преобразование для данных с асимметричным распределением.
– Винзоризация / ограничение: ограничение экстремальных значений определенными процентилями (например, p1 и p99).
– Используйте надежные методы: медиана, межквартильный размах, надежная регрессия или модели, устойчивые к выбросам.
– Раздельный анализ: иногда целесообразнее анализировать выбросы как частные случаи.
Важно, чтобы принятые решения были задокументированы, чтобы анализ был прозрачным и подотчетным.
Выбросы: проблема или ценная информация?
Выбросы часто считаются «шумом», поскольку они могут искажать статистические данные. Однако во многих случаях выбросы являются ключом к новым открытиям: существованию премиум-сегмента клиентов, состоянию пациента, требующему внимания, новому этапу производственного процесса или потенциальному мошенничеству. Поэтому к выбросам следует относиться как к чему-то, что необходимо исследовать, а не автоматически игнорировать.
заключение
В статистике выбросом считается значение, которое значительно отклоняется от общей закономерности данных. Выбросы могут возникать из-за ошибок, естественной изменчивости, изменений в процессе или различий между группами внутри набора данных. Их влияние может быть существенным на среднее значение, дисперсию, статистические тесты и прогностические модели. Выявление выбросов может осуществляться с помощью визуализации, методов межквартильного размаха (IQR), z-баллов и даже многомерных подходов и машинного обучения. При обработке выбросов необходимо учитывать контекст и цели: проверка, понимание причин, а затем выбор стратегии, такой как удаление, преобразование, ограничение значений или использование робастных методов.
При правильном понимании выбросы — это не просто «нечетные числа», а важные элементы статистической практики, которые могут улучшить качество анализа данных и принятия решений.
