Статистикада четтөө деген эмне
Статистикада маалыматтар кубулуштарды түшүнүү үчүн негизги чийки зат болуп саналат: керектөөчүлөрдүн жүрүм-туруму, тесттин жыйынтыктары, бейтаптардын ден соолугу, өндүрүштүн сапаты жана ал тургай экономикалык тенденциялар. Бирок, бардык эле маалымат пункттары көпчүлүк сыяктуу "жүрүм-турум" көрсөтө бербейт. Кээде биз маалыматтар топтомунун калган бөлүгүнөн бир топ айырмаланган бир же бир нече маанилерге туш болобуз. Бул четтөөлөр четтөөлөр деп аталат. Четтөөлөрдү түшүнүү маанилүү, анткени алар аналитикалык тыянактарды өзгөртө алат, болжолдоочу моделдерге таасир эте алат жана ал тургай изилдөөгө арзырлык маанилүү окуяларды көрсөтө алат.
Четтөөчү факторлорду түшүнүү
Жөнөкөй сөз менен айтканда, четтөө – бул көпчүлүк маалыматтардан олуттуу айырмаланган байкоо же маалыматтардын мааниси. Четтөөлөр жалпы үлгүгө караганда жогору (өтө жогору) же төмөн (өтө төмөн) болушу мүмкүн. Мисалы, эгерде студенттердин көпчүлүгүнүн тесттик упайлары 60–90 диапазонунда болсо жана 5 же 100 бир упай олуттуу айырмаланса, анда ал упай четтөө катары шектенүү керек.
Баса белгилей кетүү маанилүү: четтөө дайыма эле "ката" дегенди билдирбейт. Четтөө жөн гана маанинин маалыматтар топтомуна салыштырмалуу адаттан тыш экенин көрсөтөт. Четтөөлөр киргизүү каталарынан, бузук өлчөөчү шаймандардан келип чыгышы же жөн гана сейрек кездешүүчү, бирок маанилүү реалдуу окуяларды чагылдырышы мүмкүн.
Жөнөкөй мисал
10 адамдын айлык кирешесин (млн рупия менен) элестетип көрүңүз:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Бул жерде 50 саны башкаларга салыштырмалуу кескин айырмаланып турат. 50 катабы? Бул туура эмес окуу болушу мүмкүн (ал 5,0 болушу керек), бирок ал адам ири бизнес ээси болгондуктан туура да болушу мүмкүн. Кандай болгон күндө да, 50 саны четтөөчү сан бойдон калууда — айырмасы - биз аны анализде кандай кабыл алганыбызда.
Эмне үчүн четтөөлөр пайда болот?
Сырткы көрүнүштүн бир нече жалпы себептери бар:
1. Өлчөөнүн же куралдын катасы
Мисалы, температура сенсору кээде тоскоолдуктардан улам экстремалдык маанилерди окуй алат.
2. Маалыматтарды жаздыруудагы же киргизүүдөгү каталар
Классикалык мисалдар: 100дүн ордуна 1000ди терүү же туура эмес бирдиктер (см жана м).
3. Табигый вариация
Чыныгы дүйнөдө сейрек кездешүүчү, бирок реалдуу көрүнүштөр болот: чоң кызматтык көтөрүлүүдөн улам сатуулардын кескин өсүшү, бейтаптын дарыга адаттан тыш реакциясы же спортчу экстремалдык рекорд койгон.
4. Процесстердеги же шарттардагы өзгөрүүлөр
Мисалы, заводдо белгилүү бир күнү жабдуулар бузулуп, бузук продукциялардын саны кескин көбөйөт.
5. Аралаш калк
Маалыматтар топтому бир нече ар кандай топторду камтышы мүмкүн. Мисалы, орто мектеп окуучуларынын жана колледж студенттеринин бою аралаш; кээ бир "экстремалдык" маанилер аномалиялардан эмес, топтор чындап эле ар башка болгондуктан пайда болушу мүмкүн.
Статистикалык анализге четтөөчү көрсөткүчтөрдүн таасири
Четтөөлөр маанилүү, анткени алар анализдин жыйынтыктарына, айрыкча экстремалдык маанилерге сезгич ыкмаларда олуттуу таасир этиши мүмкүн.
1. Орточо мааниге (орточо мааниге) таасир этет
Орточо маанини экстремалдык маанилер оңой эле "четке кагат". Жогорудагы киреше мисалында, көпчүлүк 5–8 тегерегинде болсо да, орточо маани 50гө бир топ жогорулатылган болот.
2. Таасир стандарттык четтөө жана дисперсия
Анткени дисперсияны эсептөө орточо мааниден квадраттык айырмачылыктарды камтыган четтөөлөр дисперсияны жана стандарттык четтөөнү көбөйтүп, маалыматтар чындыгында болгонуна караганда көбүрөөк "таралып" тургандай көрүнүшү мүмкүн.
3. Регрессиялык моделди бузуу жана машина үйрөнүү
Dalam сызыктуу регрессия, четтөөлөр регрессия сызыгын бурмалап, маалыматтардын көпчүлүгү үчүн божомолдорду начарлатышы мүмкүн. Айрым алгоритмдерде четтөөлөр моделдин ашыкча жабдылышына же окутуу параметрлерине таасир этишине алып келиши мүмкүн.
4. Таасир гипотезаны текшерүү
Четтөөлөр параметрдик тесттерде көп колдонулган нормалдуулук жана дисперсиянын бир тектүүлүгү жөнүндөгү божомолдорду бузушу мүмкүн, натыйжада статистикалык тыянактар бир жактуу болуп калат.
Бирок, четтөөлөр да маанилүү сигналдар болушу мүмкүн. Алдамчылыкты аныктоодо четтөөчү бүтүмдөр дал биз издешибиз керек болгон нерсе. Саламаттыкты сактоодо лабораториялык жыйынтыктардын бир топ айырмаланышы олуттуу медициналык абалды көрсөтүшү мүмкүн.
Четтөөлөрдү кантип аныктоо керек
Бир дагы "туура" ыкма жок. Четтөөлөрдү аныктоо көбүнчө контекстке, маалымат түрүнө жана талдоо максаттарына жараша болот. Бул жерде кээ бир кеңири таралган ыкмалар келтирилген:
1. Визуалдаштыруу: кутуча диаграммасы жана чачыранды диаграмма
– Кутуча сызыктары четтөөлөрдү аныктоо үчүн абдан популярдуу. Кутуча сызыгында четтөөлөр, адатта, мурут кутучасынын сыртына түшкөн чекиттер катары белгиленет.
– Чачыратуу графиктери эки өзгөрмөнүн, мисалы, салмак менен бойдун ортосундагы байланыштагы четтөөлөрдү көрүүгө жардам берет.
Визуалдаштыруу биринчи кадам катары пайдалуу, анткени ал тез жана интуитивдүү.
2. IQR (квартил аралык диапазон) ыкмасы
IQR ыкмасы көбүнчө бир өзгөрмөлүү маалыматтар (бир өзгөрмөлүү) үчүн колдонулат.
– Q1 (1-квартил) жана Q3 (3-квартил) эсептегиле
– IQR = Q3 − Q1
– Төмөнкү чек = Q1 − 1,5 × IQR
– Жогорку чеги = Q3 + 1,5 × IQR
Бул чектерден тышкары маанилер, адатта, четтөөчү маанилер деп эсептелет. Бул ыкма салыштырмалуу туруктуу, анткени ага экстремалдык маанилер анчалык таасир этпейт.
3. Z-балл (орточо мааниге жана стандарттык четтөөгө негизделген)
Z-балл маанинин канчалык алыс экенин өлчөйт четтөө бирдиктериндеги орточо көрсөткүч стандарттуу.
– z = (x − орточо) / sd
|z| > 3 (кээде > 2,5) болгон маанилер көп учурда четтөөчү маанилер деп эсептелет.
Алсыздыгы: эгерде маалыматтарда чоң четтөөлөр болсо, орточо мааниге жана sdге таасир этет, ошондуктан аныктоонун тактыгы төмөн болушу мүмкүн.
4. Моделге негизделген жана көп өзгөрмөлүү методдор
Көп өзгөрмөлүү маалыматтар үчүн четтөөчү маанилер ар дайым бир гана тилкеде эмес, бир нече өзгөрмөлөрдүн айкалышында көрүнөт.
– Махаланобис аралыгы көп өзгөрмөлүү четтөөлөрдү аныктоо үчүн көп колдонулат.
– Машиналык окутууда Изоляция токою, Жергиликтүү четтөөчү фактор (LOF) же Бир класстагы SVM сыяктуу ыкмалар бар.
Бул ыкма чоң жана татаал маалымат топтомдору үчүн ылайыктуу, мисалы, каржылык транзакциялардын аномалияларын аныктоо.
Эгер сиз четтетүүчүнү тапсаңыз, эмне кылуу керек?
Эң жакшы чечим - аларды жөн эле жок кылуу эмес. Адатта, четтөөлөрдү чечүү процесси бир нече кадамдарды камтыйт:
1. Маалыматтарды текшерүү
– Туура эмес киргизүү, кайталоо же туура эмес бирдиктерди текшериңиз.
– Баштапкы маалымат булагы менен салыштырыңыз (мисалы, формалар, сенсордук журналдар же кол менен жазылган жазуулар).
2. Контекстти түшүнүү
– Бул чөйрөдө экстремалдык маанилер мааниге ээби?
– Мисалы, адамдын дене температурасы 50°C дээрлик туура эмес; бирок 50 миллион киреше акылга сыярлык болушу мүмкүн.
3. Талдоонун максатын аныктаңыз
– Эгерде максат "жалпы" жүрүм-турумду түшүнүү болсо, анда алардын үстөмдүк кылышына жол бербөө үчүн четтөөлөрдү чечүү керек болушу мүмкүн.
– Эгерде максат сейрек кездешүүчү окуяларды (алдамчылык, машинанын иштен чыгышы) табуу болсо, анда четтөөлөр негизги көңүлдү бурат.
4. Башкаруу стратегиясын тандаңыз
Кээ бир кеңири таралган варианттар:
– Алып салуу: эгерде четтөө ката болуп, репрезентативдүү эмес экени далилденсе, жасалат.
– Маалыматтарды трансформациялоо: мисалы, бурмаланган маалыматтар үчүн журналды трансформациялоо.
– Winsorizing / лимиттөө: экстремалдык маанилерди белгилүү бир пайыздар менен чектөө (мисалы, p1 жана p99).
– Туруктуу ыкмаларды колдонуңуз: медиана, IQR, туруктуу регрессия же четтөөлөргө туруктуу моделдер.
– Өзүнчө талдоо: кээде четтөөлөрдү өзгөчө учурлар катары талдоо туурараак болот.
Маанилүүсү, талдоо ачык-айкын жана жоопкерчиликтүү болушу үчүн чечимдер документтештирилиши керек.
Четтөөлөр: көйгөйбү же баалуу маалыматпы?
Четтөөлөр көп учурда "ызы-чуу" деп эсептелет, анткени алар статистикалык кыскача маалыматтарды бурмалай алат. Бирок, көпчүлүк учурларда, четтөөлөр жаңы түшүнүктөргө алып баруучу дарбаза болуп саналат: премиум кардарлар сегментинин болушу, көңүл бурууну талап кылган бейтаптын абалы, өндүрүш процессиндеги жаңы этап же потенциалдуу алдамчылык. Ошондуктан, четтөөлөрдү автоматтык түрдө четке кагуу эмес, иликтөөнү талап кылган нерсе катары кароо керек.
Корутунду
Статистикадагы четтөө – бул маалыматтардын жалпы схемасынан олуттуу четтеген маани. Четтөөлөр каталардан, табигый өзгөрүүлөрдөн, процесстердин өзгөрүшүнөн же маалыматтар топтомунун ичиндеги топтордун айырмачылыктарынан улам келип чыгышы мүмкүн. Алардын таасири орточо мааниге, дисперсияга, статистикалык тесттерге жана болжолдоочу моделдерге олуттуу болушу мүмкүн. Четтөөлөрдү аныктоого визуализация, IQR ыкмалары, z-упайлары жана ал тургай көп өзгөрмөлүү ыкмалар жана машиналык окутуу аркылуу жетүүгө болот. Иштөө контекстти жана максаттарды эске алышы керек: текшерүү, себептерин түшүнүү, андан кийин маанилерди алып салуу, трансформациялоо, чектөө же ишенимдүү ыкмаларды колдонуу сыяктуу стратегияны тандоо.
Тийиштүү түшүнүү менен, четтөөлөр жөн гана "так сандар" эмес, тескерисинче, маалыматтарга негизделген талдоо жана чечимдердин сапатын жакшырта турган статистикалык практиканын маанилүү элементтери болуп саналат.
