Аналіз дысперсіі і стандартнага адхілення ў размеркаванні дадзеных
У статыстыцы разуменне размеркавання дадзеных гэтак жа важна, як і разуменне цэнтральных значэнняў, такіх як сярэдняе значэнне або медыяна. Два наборы дадзеных могуць мець аднолькавае сярэдняе значэнне, але іх размеркаванні вельмі розныя: адзін можа быць шчыльна кластарызаваны вакол сярэдняга значэння, а другі можа быць шырока раскіданы. Вось тут і прыходзяць на дапамогу дысперсія і стандартнае адхіленне — яны з'яўляюцца ключавымі паказчыкамі таго, наколькі дадзеныя адрозніваюцца ад свайго цэнтральнага значэння. У гэтым артыкуле абмяркоўваюцца іх паняцці, формулы, інтэрпрэтацыі і прыклады іх прымянення ў аналізе дадзеных.
1. Чаму распаўсюджванне дадзеных важнае?
Распыленне дадзеных дае інфармацыю аб паслядоўнасці і рызыцы. Напрыклад, у кантэксце вынікаў тэстаў сярэдні паказчык для класаў А і В можа складаць 80. Аднак, калі розніца ў балах класа А невялікая, большасць студэнтаў паказваюць аднолькавыя вынікі. І наадварот, калі розніца ў балах класа Б вялікая, верагодна, што некаторыя студэнты маюць вельмі высокія балы, а іншыя — вельмі нізкія. У бізнэсе распыленне дадзеных аб продажах сведчыць аб стабільнасці даходаў; у фінансах распыленне прыбытковасці інвестыцый паказвае на ўзровень рызыкі.
Разумеючы дысперсію і стандартнае адхіленне, асобы, якія прымаюць рашэнні, могуць:
– Ацаніць, ці з'яўляецца працэс стабільным (напрыклад, фабрычная вытворчасць).
– Параўнанне ўзгодненасці паміж групамі (напрыклад, два метады навучання).
– Вызначэнне выкідаў дадзеных, якія варта прааналізаваць.
– Ацэнка нявызначанасці ў прагнозах і мадэлях.
2. Асноўная канцэпцыя дысперсіі
Дысперсія вымярае сярэдняе квадратнае адхіленне кожнага набору дадзеных ад сярэдняга значэння. Адхіленне — гэта розніца паміж значэннямі дадзеных і сярэднім значэннем. Калі шмат значэнняў далёкія ад сярэдняга, дысперсія будзе вялікай. Калі значэнні блізкія да сярэдняга, дысперсія будзе малой.
Дапусцім, ёсць дадзеныя: \(x_1, x_2, …, x_n\) са сярэднім значэннем \(\bar{x}\). Адхіленне кожных дадзеных роўна \(x_i – \bar{x}\). Аднак, калі адхіленні сумуюцца непасрэдна, вынік заўсёды роўны нулю, таму што ёсць дадатныя і адмоўныя адхіленні, якія кампенсуюць адно аднаго. Каб пераадолець гэта, адхіленні ўзводзяць у квадрат, каб усе яны былі дадатнымі. Вось тут і нараджаецца дысперсія.
а) Дысперсія папуляцыі
Калі лічыць, што дадзеныя прадстаўляюць усю генеральную сукупнасць, дысперсія генеральнай сукупнасці запісваецца як:
\[
σ² = (сума i=1)^{N}(x-i – μ)²(N)
\]
Дзе:
– \(N\) — колькасць дадзеных аб папуляцыі,
– \(\mu\) — сярэдняе значэнне папуляцыі,
– \(\sigma^2\) — дысперсія папуляцыі.
б) Дысперсія выбаркі
Калі дадзеныя ўяўляюць сабой выбарку з большай папуляцыі, выкарыстоўваецца дысперсія выбаркі:
\[
s^2 = \frac{\sum_{i=1}^{n}(x_i – \bar{x})^2}{n-1}
\]
Дзельнік \(n-1\) называецца папраўкай Беселя і выкарыстоўваецца для таго, каб ацэнка дысперсіі для генеральнай сукупнасці была незрушанай. Па сутнасці, паколькі сярэдняе выбарачнае значэнне разлічваецца з саміх дадзеных, існуе «страта ступеней свабоды», таму дзельнік карэктуецца адпаведна.
3. Стандартнае адхіленне: корань дысперсіі
Дысперсія мае адзін практычны недахоп: яе адзінкі вымярэння — гэта квадрат адзінак вымярэння дадзеных. Калі дадзеныя ў «рупіях», дысперсія вымяраецца ў «рупіях²», што цяжка інтэрпрэтаваць непасрэдна. Таму мы выкарыстоўваем стандартнае адхіленне, якое з'яўляецца квадратным коранем з дысперсіі.
а) Стандартнае адхіленне папуляцыі
\[
σ = σ²
\]
б) Стандартнае адхіленне выбаркі
\[
s = \sqrt{s^2}
\]
Стандартнае адхіленне мае тыя ж адзінкі вымярэння, што і зыходныя дадзеныя, што спрашчае яго разуменне. Высокае стандартнае адхіленне паказвае на больш раскіданыя дадзеныя; нізкае стандартнае адхіленне паказвае на больш шчыльны набор дадзеных.
4. Просты прыклад разліку
Напрыклад, дадзеныя аб выніках тэсту: 70, 75, 80, 85, 90.
1) Вылічыце сярэдняе значэнне:
\[
\bar{x} = \frac{70+75+80+85+90}{5} = 80
\]
2) Вылічыце адхіленне кожнага значэння ад сярэдняга значэння:
– 70: \(70-80=-10\)
– 75: \(75-80=-5\)
– 80: \(80-80=0\)
– 85: \(85-80=5\)
– 90: \(90-80=10\)
3) Узвядзіце адхіленне ў квадрат:
– 100, 25, 0, 25, 100
4) Падсумуйце:
\[
\sum (x_i - \bar{x})^2 = 250
\]
5) Дысперсія выбаркі:
\[
s^2 = \frac{250}{5-1} = 62.5
\]
6) Стандартнае адхіленне выбаркі:
\[
s = \sqrt{62.5} \прыблізна 7.91
\]
Інтэрпрэтацыя: сярэдні бал складае 80, і «тыпова» балы адхіляюцца прыкладна на 7–8 балаў ад сярэдняга значэння.
5. Інтэрпрэтацыя дысперсіі і стандартнага адхілення
Дысперсія і стандартнае адхіленне — гэта не проста лічбы; іх трэба інтэрпрэтаваць у кантэксце.
– Малое стандартнае адхіленне: высокая стабільнасць. Напрыклад, вытворчы працэс з вельмі малым стандартным адхіленнем памеру прадукцыі сведчыць аб стабільнай якасці.
– Вялікае стандартнае адхіленне: высокая варыяцыя. У інвеставанні высокае стандартнае адхіленне прыбытковасці азначае высокую валацільнасць (больш высокую рызыку).
– Параўнанне паміж групамі: калі дзве групы маюць аднолькавае сярэдняе значэнне, але розныя стандартныя адхіленні, група з меншым адхіленнем з'яўляецца больш аднароднай.
Аднак важна памятаць, што стандартнае адхіленне адчувальнае да выкідаў. Адно экстрэмальнае значэнне можа значна павялічыць дысперсію і стандартнае адхіленне. Таму аналіз размеркавання часта дапаўняецца візуалізацыямі (гістаграмамі, скрынкавымі дыяграмамі) або надзейнымі паказчыкамі, такімі як міжквартыльны дыяпазон (МКД).
6. Сувязь паміж нармальным размеркаваннем і эмпірычнымі правіламі
У нармальным размеркаванні (крывая Коліка) стандартнае адхіленне мае вельмі важнае значэнне. Існуе эмпірычнае правіла, якое часта выкарыстоўваецца:
– Каля 68% дадзеных знаходзяцца ў дыяпазоне \(\bar{x} \pm 1s\)
– Каля 95% дадзеных знаходзяцца ў дыяпазоне \(\bar{x} \pm 2s\)
– Каля 99,7% дадзеных знаходзяцца ў дыяпазоне \(\bar{x} \pm 3s\)
Гэтае правіла дапамагае хутка інтэрпрэтаваць значэнні, напрыклад, ацэньваць, ці з'яўляецца значэнне «ненатуральным», ці ўсё яшчэ знаходзіцца ў межах агульнага дыяпазону.
7. Прымяненне ў розных галінах
1) Адукацыя: Маніторынг размеркавання адзнак вучняў. Невялікія адхіленні сведчаць аб справядлівых выніках навучання, а вялікія адхіленні могуць сведчыць аб прабелах у разуменні.
2) Прамысловасць: кантроль якасці. Адхіленні выкарыстоўваюцца для ацэнкі паслядоўнасці вытворчасці.
3) Фінансы: вымярае валацільнасць цэн на акцыі, прыбытковасць партфеля і інвестыцыйны рызыка.
4) Здароўе: назіранне за ваганнямі артэрыяльнага ціску, узроўню цукру або іншых клінічных паказчыкаў у папуляцыі пацыентаў.
5) Сацыяльныя даследаванні: ацэнка неаднароднасці адказаў на апытанне і разнастайнасці характарыстык рэспандэнтаў.
8. Тыповыя памылкі і практычныя парады
Некаторыя распаўсюджаныя памылкі:
– Выкарыстанне дысперсіі выбаркі (дзельнік \(n-1\)), нават калі дадзеныя ўяўляюць сабой поўную генеральную сукупнасць, або наадварот.
– Інтэрпрэтуйце дысперсію без уліку яе квадратных адзінак; для інтэрпрэтацыі бяспечней выкарыстоўваць стандартнае адхіленне.
– Не зважайце на выкіды; лепш спачатку праверыць дадзеныя.
– Параўнайце стандартныя адхіленні паміж дадзенымі з рознымі шкаламі без нармалізацыі; у некаторых выпадках выкарыстоўвайце каэфіцыент варыяцыі (CV), г.зн. (CV = \frac{s}{\bar{x}}\times 100\%\) для больш справядлівага параўнання.
Закрыццё
Дысперсія і стандартнае адхіленне з'яўляюцца асноўнымі інструментамі для разумення размеркавання дадзеных. Дысперсія забяспечвае трывалую матэматычную аснову, у той час як стандартнае адхіленне забяспечвае меру, якую лягчэй інтэрпрэтаваць, паколькі яна падобная да зыходных дадзеных. Выкарыстоўваючы гэтыя дзве меры, мы можам больш выразна ацаніць узгодненасць, рызыку і адрозненні ў характарыстыках размеркавання паміж наборамі дадзеных. У практыцы аналізу дадзеных дысперсія і стандартнае адхіленне лепш за ўсё выкарыстоўваць разам з мерамі цэнтральнай тэндэнцыі і візуалізацыі, каб атрымаць поўную карціну дадзеных і прымаць больш абгрунтаваныя рашэнні.
Калі хочаце, я магу дадаць больш складаныя прыклады разлікаў (напрыклад, згрупаваныя дадзеныя) або растлумачыць сувязь стандартнага адхілення з z-паказчыкам і выяўленнем выкідаў.
