Дар омор як чизи беруна чист?
Дар омор, маълумот ашёи хоми асосӣ барои фаҳмидани падидаҳо мебошад: рафтори истеъмолкунандагон, натиҷаҳои санҷиш, саломатии беморон, сифати истеҳсолот ва ҳатто тамоюлҳои иқтисодӣ. Аммо, на ҳама нуқтаҳои додаҳо мисли аксарият "рафтор" мекунанд. Баъзан мо бо як ё якчанд арзишҳое дучор мешавем, ки аз боқимондаи маҷмӯи додаҳо ба таври назаррас фарқ мекунанд. Ин нишондиҳандаҳои берунӣ ҳамчун нишондиҳандаҳои берунӣ маълуманд. Фаҳмидани нишондиҳандаҳои берунӣ муҳим аст, зеро онҳо метавонанд хулосаҳои таҳлилиро тағйир диҳанд, ба моделҳои пешгӯикунанда таъсир расонанд ва ҳатто рӯйдодҳои муҳимеро, ки барои таҳқиқ арзиш доранд, нишон диҳанд.
Фаҳмидани нишонаҳои беруна
Ба таври оддӣ, арзиши берунӣ мушоҳида ё арзиши додаҳоест, ки аз аксарияти додаҳо ба таври назаррас фарқ мекунад. Арзиши берунӣ метавонад нисбат ба намунаи умумӣ баландтар (ниҳоят баланд) ё пасттар (ниҳоят паст) бошад. Масалан, агар холҳои имтиҳони аксарияти донишҷӯён дар диапазони 60-90 паст шаванд ва як хол аз 5 ё 100 ба таври назаррас фарқ кунад, ин хол бояд ҳамчун арзиши берунӣ гумонбар шавад.
Таъкид кардан муҳим аст: арзиши ғайримуқаррарӣ на ҳамеша маънои "хато"-ро дорад. Арзиши ғайримуқаррарӣ танҳо нишон медиҳад, ки арзиш дар муқоиса бо маҷмӯи додаҳо ғайриоддӣ аст. Арзиши ғайримуқаррарӣ метавонад аз хатогиҳои вурудӣ, асбобҳои ченкунии ноқис ба вуҷуд ояд ё танҳо рӯйдодҳои нодир, вале муҳими воқеиро инъикос кунад.
Мисоли оддӣ
Маълумоти даромади моҳонаи 10 нафарро (бо миллион рупия) тасаввур кунед:
5, 5, 6, 6, 6, 7, 7, 7, 8, 50
Дар ин ҷо, рақами 50 нисбат ба дигарон ба таври возеҳ фарқ мекунад. Оё 50 хато аст? Ин метавонад хато хондан бошад (он бояд 5,0 бошад), аммо он инчунин метавонад дуруст бошад, зеро шахс соҳиби тиҷорати калон аст. Дар ҳар сурат, 50 як рақами берунӣ боқӣ мемонад - он чизе ки фарқ мекунад, дар он аст, ки мо онро дар таҳлил чӣ гуна баррасӣ мекунем.
Чаро нишонаҳои беруна пайдо мешаванд?
Якчанд сабабҳои маъмулии пайдоиши доғҳои берунӣ мавҷуданд:
1. Хатои андозагирӣ ё асбоб
Масалан, сенсори ҳарорат баъзан метавонад аз сабаби халалдоршавӣ арзишҳои аз ҳад зиёдро хонад.
2. Хатогиҳо дар сабт ё ворид кардани маълумот
Мисолҳои классикӣ: чоп кардани 1000 ба ҷои 100, ё воҳидҳои нодуруст (см vs м).
3. Тағйирёбии табиӣ
Дар ҷаҳони воқеӣ, падидаҳои нодир, вале воқеӣ вуҷуд доранд: афзоиши фурӯш аз сабаби пешбурди бузург, аксуламали ғайриоддии бемор ба дору ё варзишгар рекорди фавқулодда мегузорад.
4. Тағйирот дар раванд ё шароит
Масалан, дар як рӯзи муайяне таҷҳизоти корхона аз кор мебарояд, ки боиси афзоиши шумораи маҳсулоти ноқис мегардад.
5. Аҳолии омехта
Маҷмӯи додаҳо метавонад якчанд гурӯҳҳои гуногунро дар бар гирад. Масалан, қади донишҷӯёни мактабҳои миёна ва коллеҷ омехта аст; баъзе арзишҳои "экстремалӣ" метавонанд на аз сабаби аномалияҳо, балки аз он сабаб пайдо шаванд, ки гурӯҳҳо воқеан гуногунанд.
Таъсири нишондиҳандаҳои беруна ба таҳлили оморӣ
Аҳамиятҳои беруна муҳиманд, зеро онҳо метавонанд ба натиҷаҳои таҳлил таъсири назаррас расонанд, хусусан дар усулҳое, ки ба арзишҳои экстремалӣ ҳассосанд.
1. Ба миёна (миёна) таъсир мерасонад
Миёна ба осонӣ аз ҷониби арзишҳои шадид "кашида" мешавад. Дар мисоли даромади дар боло зикршуда, миёна бо арзиши 50 ба таври назаррас афзоиш меёбад, ҳарчанд аксарияти онҳо тақрибан 5-8 мебошанд.
2. Ба инҳирофи стандартӣ ва дисперсия таъсир мерасонад
Азбаски ҳисобҳои дисперсия фарқиятҳои квадратӣ аз миёнаро дар бар мегиранд, нишондиҳандаҳои берунӣ метавонанд дисперсия ва инҳирофи стандартиро афзоиш диҳанд ва чунин ба назар расанд, ки гӯё маълумот нисбат ба он ки дар асл аст, бештар «паҳн» аст.
3. Моделҳои регрессияи халалдоркунанда ва омӯзиши мошинӣ
Дар регрессияи хаттӣ, нуқтаҳои берунӣ метавонанд хати регрессияро каҷ кунанд ва пешгӯиҳоро барои аксари маълумот суст гардонанд. Дар баъзе алгоритмҳо, нуқтаҳои берунӣ метавонанд боиси аз ҳад зиёд мувофиқат кардани модел ё таъсир расонидан ба параметрҳои омӯзишӣ шаванд.
4. Санҷиши фарзияҳои таъсиррасонӣ
Аҳамиятҳои беруна метавонанд фарзияҳои муқаррарӣ ва якхелагии дисперсияро, ки аксар вақт дар санҷишҳои параметрӣ истифода мешаванд, вайрон кунанд, ки дар натиҷа хулосаҳои оморӣ ғаразнок мешаванд.
Аммо, нишондиҳандаҳои берунӣ низ метавонанд сигналҳои муҳим бошанд. Дар ошкор кардани қаллобӣ, муомилоти берунӣ маҳз ҳамон чизест, ки мо мехоҳем ба он диққат диҳем. Дар соҳаи тандурустӣ, натиҷаҳои лаборатории ба таври назаррас фарқкунанда метавонанд як ҳолати ҷиддии тиббиро нишон диҳанд.
Чӣ тавр берунравҳоро муайян кардан мумкин аст
Усули ягонаи "дуруст" вуҷуд надорад. Муайян кардани маълумоти беруна аксар вақт аз контекст, намуди маълумот ва ҳадафҳои таҳлил вобаста аст. Дар ин ҷо баъзе усулҳои маъмул оварда шудаанд:
1. Визуализатсия: Қуттии диаграмма ва Пароканда диаграмма
– Нақшаҳои қуттӣ барои муайян кардани нуқтаҳои берун аз он хеле маъмуланд. Дар нақшаи қуттӣ, нуқтаҳои берун аз он одатан ҳамчун нуқтаҳое қайд карда мешаванд, ки берун аз қуттии мӯйлаб ҷойгиранд.
– Диаграммаҳои пароканда барои дидани нуқтаҳои беруна дар муносибати байни ду тағирёбанда, масалан, вазн ва қад, кӯмак мекунанд.
Тасаввур ҳамчун қадами аввал муфид аст, зеро он зуд ва фаҳмо аст.
2. Усули IQR (Диапазони байниквартилӣ)
Усули IQR аксар вақт барои додаҳои яктағйирёбанда (унвариатӣ) истифода мешавад.
– Q1 (квартили 1) ва Q3 (квартили 3)-ро ҳисоб кунед
– IQR = Q3 − Q1
– Ҳадди поёнӣ = Q1 − 1,5 × IQR
– Ҳадди болоӣ = Q3 + 1,5 × IQR
Арзишҳои берун аз ин маҳдудиятҳо одатан берунмонда ҳисобида мешаванд. Ин усул нисбатан устувор аст, зеро он аз арзишҳои экстремалӣ таъсири зиёд намерасонад.
3. Z-хол (дар асоси миёна ва инҳирофи стандартӣ)
Нишондиҳандаи Z чен мекунад, ки чӣ қадар дур будани арзиш аз миёна дар воҳидҳои инҳирофи стандартӣ муайян карда мешавад.
– z = (x − миёна) / sd
Арзишҳое, ки |z| > 3 доранд (баъзан > 2,5), аксар вақт берунравӣ ҳисобида мешаванд.
Камбудӣ: агар маълумот аллакай дорои фосилаҳои калон бошад, миёна ва sd таъсир мебинанд, то муайянкунӣ камтар дақиқ бошад.
4. Усулҳои моделӣ ва бисёрҷониба
Барои маълумоти бисёртағйирёбанда, берунравҳо на ҳамеша танҳо дар як сутун, балки дар якҷоягии якчанд тағйирёбандаҳо намоёнанд.
– Масофаи Маҳаланобис аксар вақт барои муайян кардани берунравиҳои бисёрченакдор истифода мешавад.
– Дар омӯзиши мошинӣ, равишҳо ба монанди Ҷангали Изолятсия, Омили берунаи маҳаллӣ (LOF) ё SVM-и яксинфӣ мавҷуданд.
Ин усул барои маҷмӯи додаҳои калон ва мураккаб, масалан, ошкор кардани аномалияҳои амалиёти молиявӣ, мувофиқ аст.
Агар шумо як шахси ғайриоддӣ пайдо кунед, чӣ кор кардан лозим аст?
Беҳтарин роҳи амал ин нест кардани онҳо нест кардан аст. Умуман, раванди коркарди маълумоти беруна якчанд қадамро дар бар мегирад:
1. Тасдиқи маълумот
– Вуруди нодуруст, такрор ё воҳидҳои нодурустро тафтиш кунед.
– Муқоиса бо манбаи аслии маълумот (масалан, шаклҳо, гузоришҳои сенсорӣ ё сабтҳои дастӣ).
2. Контекстро дарк кунед
– Оё арзишҳои аз ҳад зиёд дар ин соҳа мантиқӣ ҳастанд?
– Масалан, ҳарорати бадани инсон дар 50°C қариб бешубҳа нодуруст аст; аммо даромади 50 миллион метавонад оқилона бошад.
3. Ҳадафи таҳлилро муайян кунед
– Агар ҳадаф фаҳмидани рафтори «умумӣ» бошад, барои пешгирӣ аз бартарӣ доштани онҳо, бояд бо ҳолатҳои берунрафта мубориза бурд.
– Агар ҳадаф ёфтани рӯйдодҳои нодир (қаллобӣ, нокомии дастгоҳ) бошад, диққати асосӣ ба нишондиҳандаҳои берунӣ равона карда мешавад.
4. Стратегияи коркардро интихоб кунед
Баъзе вариантҳои маъмул:
– Хориҷкунӣ: агар исбот карда шавад, ки нишондиҳандаи беруна хато аст ва намояндагӣ намекунад, анҷом дода мешавад.
– Табдилдиҳии маълумот: масалан, табдилдиҳии лог барои маълумоти каҷ.
– Винсоризатсия / маҳдудкунӣ: маҳдуд кардани арзишҳои экстремалӣ ба баъзе фоизҳо (масалан, p1 ва p99).
– Аз усулҳои устувор истифода баред: медиана, IQR, регрессияи устувор ё моделҳои тобовар ба берунӣ.
– Таҳлили алоҳида: баъзан таҳлили берунравӣ ҳамчун ҳолатҳои махсус мувофиқтар аст.
Муҳим он аст, ки қарорҳо бояд ҳуҷҷатгузорӣ карда шаванд, то таҳлил шаффоф ва ҳисоботдиҳанда бошад.
Маълумоти беруна: Мушкилот ё маълумоти арзишманд?
Аҷибиятҳо аксар вақт "садо" ҳисобида мешаванд, зеро онҳо метавонанд хулосаҳои оморӣро таҳриф кунанд. Аммо, дар бисёр мавридҳо, аҷибиятҳо дарвозаи фаҳмишҳои нав мебошанд: мавҷудияти сегменти муштариёни босифат, ҳолати беморе, ки таваҷҷӯҳро талаб мекунад, марҳилаи нав дар раванди истеҳсолот ё қаллобии эҳтимолӣ. Аз ин рӯ, аҷибиятҳо бояд ҳамчун чизе баррасӣ шаванд, ки бояд таҳқиқ карда шавад, на ин ки ба таври худкор рад карда шаванд.
Хулоса
Дар омор арзиши берунӣ ин арзишест, ки аз намунаи умумии маълумот ба таври назаррас фарқ мекунад. Хориҷӣ метавонад аз сабаби хатогиҳо, тағирёбии табиӣ, тағйироти равандҳо ё фарқиятҳои гурӯҳӣ дар дохили маҷмӯи додаҳо ба вуҷуд ояд. Таъсири онҳо метавонад ба миёна, дисперсия, санҷишҳои оморӣ ва моделҳои пешгӯикунанда назаррас бошад. Ошкор кардани хориҷӣ метавонад тавассути визуализатсия, усулҳои IQR, холҳои z ва ҳатто равишҳои бисёрченак ва омӯзиши мошинӣ ба даст оварда шавад. Ҳангоми кор бо ин масъала бояд контекст ва ҳадафҳоро ба назар гирифт: тасдиқ, фаҳмидани сабабҳо ва сипас интихоби стратегия ба монанди нест кардан, табдил додан, маҳдуд кардани арзишҳо ё истифодаи усулҳои устувор.
Бо дарки дуруст, нишондиҳандаҳои берунӣ на танҳо «рақамҳои тоқ», балки унсурҳои муҳими амалияи оморӣ мебошанд, ки метавонанд сифати таҳлил ва қарорҳои бар асоси маълумот асосёфтаро беҳтар созанд.
