Анализа на варијансата и стандардната девијација во распределбата на податоците
Во статистиката, разбирањето на распределбата на податоците е исто толку важно како и разбирањето на централните вредности како што се средната вредност или медијаната. Два збира податоци можат да имаат ист просек, но нивните распределби се многу различни: едниот може да биде цврсто групиран околу просекот, додека другиот може да биде широко распространет. Тука влегуваат во игра варијансата и стандардната девијација - тие се клучни мерки за тоа колку податоците варираат од нивната централна вредност. Оваа статија ги дискутира нивните концепти, формули, толкувања и примери за нивна примена во анализата на податоци.
1. Зошто е важно ширењето на податоци?
Дисперзијата на податоците дава информации за конзистентноста и ризикот. На пример, во контекст на резултатите од тестовите, просекот за класите А и Б може да биде 80. Меѓутоа, ако варијацијата во резултатите од класата А е мала, поголемиот дел од учениците постигнуваат слични резултати. Обратно, ако варијацијата во резултатите од класата Б е голема, веројатно е дека некои ученици имаат многу високи резултати, а други имаат многу ниски резултати. Во бизнисот, дисперзијата на податоците за продажба укажува на стабилност на приходите; во финансиите, дисперзијата на приносите од инвестициите укажува на нивото на ризик.
Со разбирање на варијансата и стандардната девијација, донесувачите на одлуки можат:
– Проценете дали процесот е стабилен или не (на пр. фабричко производство).
– Споредување на конзистентноста меѓу групите (на пр. два методи на учење).
– Идентификување на отстапувања од очекуваното што вреди да се разгледаат.
– Проценка на неизвесноста во предвидувањата и моделите.
2. Основен концепт на варијанса
Варијансата ја мери просечната квадратна девијација на секој збир на податоци од средната вредност. Девијацијата е разликата помеѓу вредностите на податоците и средната вредност. Ако многу вредности се далеку од средната вредност, варијансата ќе биде голема. Ако вредностите се блиску до средната вредност, варијансата ќе биде мала.
Да претпоставиме дека постојат податоци: \(x_1, x_2, …, x_n\) со средна вредност \(\bar{x}\). Отстапувањето на секој податок е \(x_i – \bar{x}\). Меѓутоа, ако отстапувањата се соберат директно, резултатот е секогаш нула бидејќи постојат позитивни и негативни отстапувања кои меѓусебно се поништуваат. За да се надмине ова, отстапувањата се квадрираат така што сите се позитивни. Тука се раѓа варијансата.
а) Варијансата на популацијата
Ако податоците се сметаат за претставници на целата популација, варијансата на популацијата се запишува како:
\[
\sigma^2 = \frac{\sum_{i=1}^{N}(x_i – \mu)^2}{N}
\]
ди мана:
– \(N\) е бројот на податоци за популацијата,
– \(\mu\) е средната вредност на популацијата,
– \(\sigma^2\) е варијансата на популацијата.
б) Варијанса на примерокот
Ако податоците се примерок од поголема популација, се користи варијансата на примерокот:
\[
s^2 = \frac{\sum_{i=1}^{n}(x_i – \bar{x})^2}{n-1}
\]
Делителот \(n-1\) се нарекува Беселова корекција и се користи за да се осигури дека проценката на варијансата за популацијата е непристрасна. Во суштина, бидејќи средната вредност на примерокот се пресметува од самите податоци, постои „губење на степени на слобода“, па затоа делителот се прилагодува соодветно.
3. Стандардна девијација: Коренот на варијансата
Варијансата има еден практичен недостаток: нејзините единици се квадратот на единиците на податоците. Ако податоците се во „рупии“, варијансата е во „рупии²“, што е тешко директно да се толкува. Затоа, ја користиме стандардната девијација, која е квадратен корен од варијансата.
а) Стандардна девијација на популацијата
\[
\sigma = \sqrt{\sigma^2}
\]
б) Стандардна девијација на примерокот
\[
s = \sqrt{s^2}
\]
Стандардната девијација има исти единици како и оригиналните податоци, што го олеснува разбирањето. Високата стандардна девијација означува пошироко распространети податоци; ниската стандардна девијација означува погуст сет на податоци.
4. Едноставен пример за пресметка
На пример, податоците за резултатот од тестот: 70, 75, 80, 85, 90.
1) Пресметајте го просекот:
\[
\bar{x} = \frac{70+75+80+85+90}{5} = 80
\]
2) Пресметајте го отстапувањето на секоја вредност од средната вредност:
– 70: \(70-80=-10\)
– 75: \(75-80=-5\)
– 80: \(80-80=0\)
– 85: \(85-80=5\)
– 90: \(90-80=10\)
3) Квадратизирај ја девијацијата:
- 100, 25, 0, 25, 100
4) Собери:
\[
\sum (x_i-\bar{x})^2 = 250
\]
5) Варијанса на примерокот:
\[
s^2 = \frac{250}{5-1} = 62.5
\]
6) Стандардна девијација на примерокот:
\[
s = \sqrt{62.5} \approx 7.91
\]
Толкување: просечниот резултат е 80, а „типично“ резултатите отстапуваат за околу 7–8 поени од просекот.
5. Интерпретација на варијансата и стандардната девијација
Варијансата и стандардната девијација не се само броеви; тие мора да се толкуваат во контекст.
– Мала стандардна девијација: висока конзистентност. На пример, производствен процес со многу мала стандардна девијација во големината на производот укажува на стабилен квалитет.
– Голема стандардна девијација: голема варијација. При инвестирањето, висока стандардна девијација на приносите значи висока волатилност (повисок ризик).
– Споредба меѓу групи: ако две групи имаат иста средна вредност, но различни стандардни отстапувања, групата со помало отстапување е похомогена.
Сепак, важно е да се запомни дека стандардната девијација е чувствителна на отстапувања. Една екстремна вредност може значително да ја зголеми варијансата и стандардната девијација. Затоа, анализата на дистрибуција често се надополнува со визуелизации (хистограми, кутии) или робусни мерки како што е IQR (интерквартилен опсег).
6. Однос со нормална распределба и емпириски правила
Во нормална распределба (ѕвончеста крива), стандардната девијација има многу силно значење. Постои емпириско правило кое често се користи:
– Околу 68% од податоците се во опсегот \(\bar{x} \pm 1s\)
– Околу 95% од податоците се во опсегот \(\bar{x} \pm 2s\)
– Околу 99,7% од податоците се во опсегот \(\bar{x} \pm 3s\)
Ова правило помага да се направат брзи толкувања, на пример, проценување дали вредноста е „неприродна“ или сè уште е во рамките на општиот опсег.
7. Примени во различни области
1) Образование: Следење на распределбата на оценките на учениците. Малите отстапувања укажуваат на еднакви резултати од учењето, додека големите отстапувања можат да укажуваат на празнини во разбирањето.
2) Индустрија: контрола на квалитет. Варијансата се користи за да се процени конзистентноста на производството.
3) Финансии: ја мери нестабилноста на цените на акциите, приносите од портфолиото и инвестицискиот ризик.
4) Здравје: набљудување на варијации во крвниот притисок, нивото на шеќер или други клинички индикатори кај популацијата на пациенти.
5) Социјално истражување: проценка на хетерогеноста на одговорите на анкетите и разновидноста на карактеристиките на испитаниците.
8. Чести грешки и практични совети
Некои вообичаени грешки:
– Користење на примерочна варијанса (делител \(n-1\)) иако податоците се целата популација, или обратно.
– Интерпретирајте ја варијансата без да ги земете предвид нејзините квадратни единици; побезбедно е да се користи стандардна девијација за интерпретација.
– Игнорирајте ги отстапувањата; најдобро е прво да ги проверите податоците.
– Споредете ги стандардните отстапувања помеѓу податоците со различни скали без нормализација; во некои случаи, користете го коефициентот на варијација (CV), т.е. \(CV = \frac{s}{\bar{x}}\times 100\%\) за пофер споредба.
Затворање
Варијансата и стандардната девијација се фундаментални алатки за разбирање на распределбата на податоците. Варијансата обезбедува силна математичка основа, додека стандардната девијација обезбедува мерка што е полесна за толкување бидејќи е слична на оригиналните податоци. Со користење на овие две мерки, можеме појасно да ја процениме конзистентноста, ризикот и разликите во карактеристиките на распределбата помеѓу множествата податоци. Во практиката на анализа на податоци, варијансата и стандардната девијација најдобро се користат во комбинација со мерки на централна тенденција и визуелизација за да се обезбеди целосна слика за податоците и да се донесат поинформирани одлуки.
Ако сакате, можам да додадам посложени примери за пресметка (на пр. групирани податоци) или да го објаснам односот на стандардната девијација со z-оценката и откривањето на отстапувања.
