Anàlisi de la variància i la desviació estàndard en la distribució de dades
En estadística, entendre la distribució de les dades és tan important com entendre els valors centrals com la mitjana o la mediana. Dos conjunts de dades poden tenir la mateixa mitjana, però les seves distribucions són molt diferents: un pot estar agrupat al voltant de la mitjana, mentre que l'altre pot estar molt dispers. Aquí és on entren en joc la variància i la desviació estàndard: són mesures clau de quant varien les dades del seu valor central. Aquest article analitza els seus conceptes, fórmules, interpretacions i exemples de la seva aplicació en l'anàlisi de dades.
1. Per què és important la difusió de dades?
La dispersió de dades proporciona informació sobre la consistència i el risc. Per exemple, en el context de les puntuacions dels exàmens, la mitjana de les classes A i B podria ser de 80. Tanmateix, si la variació en les puntuacions de la classe A és petita, la majoria dels estudiants tenen un rendiment similar. Per contra, si la variació en les puntuacions de la classe B és gran, és probable que alguns estudiants tinguin puntuacions molt altes i altres molt baixes. En els negocis, la dispersió de les dades de vendes indica estabilitat dels ingressos; en les finances, la dispersió dels rendiments de les inversions indica el nivell de risc.
En comprendre la variància i la desviació estàndard, els responsables de la presa de decisions poden:
– Avaluar si un procés és estable o no (per exemple, la producció en fàbrica).
– Comparació de la coherència entre grups (per exemple, dos mètodes d'aprenentatge).
– Identificació de dades atípiques que val la pena revisar.
– Estimació de la incertesa en prediccions i models.
2. Concepte bàsic de variància
La variància mesura la desviació quadràtica mitjana de cada conjunt de dades respecte a la mitjana. La desviació és la diferència entre els valors de les dades i la mitjana. Si molts valors estan lluny de la mitjana, la variància serà gran. Si els valors estan a prop de la mitjana, la variància serà petita.
Suposem que hi ha dades: \(x_1, x_2, …, x_n\) amb una mitjana de \(\bar{x}\). La desviació de cada dada és \(x_i – \bar{x}\). Tanmateix, si les desviacions se sumen directament, el resultat sempre és zero perquè hi ha desviacions positives i negatives que es cancel·len entre si. Per superar això, les desviacions s'eleven al quadrat de manera que totes siguin positives. Aquí és on neix la variància.
a) Variància poblacional
Si es considera que les dades representen tota la població, la variància poblacional s'escriu com:
\[
\sigma^2 = \frac{\sum_{i=1}^{N}(x_i – \mu)^2}{N}
\]
On:
– \(N\) és el nombre de dades de població,
– \(\mu\) és la mitjana de la població,
– \(\sigma^2\) és la variància de la població.
b) Variància de la mostra
Si les dades són una mostra d'una població més gran, s'utilitza la variància mostral:
\[
s^2 = \frac{\sum_{i=1}^{n}(x_i – \bar{x})^2}{n-1}
\]
El divisor \(n-1\) s'anomena correcció de Bessel i s'utilitza per garantir que l'estimació de la variància per a la població sigui imparcial. Essencialment, com que la mitjana mostral es calcula a partir de les dades en si, hi ha una "pèrdua de graus de llibertat", de manera que el divisor s'ajusta en conseqüència.
3. Desviació estàndard: l'arrel de la variància
La variància té un inconvenient pràctic: les seves unitats són el quadrat de les unitats de les dades. Si les dades són en "rupies", la variància és en "rupies²", cosa que és difícil d'interpretar directament. Per tant, fem servir la desviació estàndard, que és l'arrel quadrada de la variància.
a) Desviació estàndard de la població
\[
\sigma = \sqrt{\sigma^2}
\]
b) Desviació estàndard de la mostra
\[
s = \sqrt{s^2}
\]
La desviació estàndard té les mateixes unitats que les dades originals, cosa que facilita la seva comprensió. Una desviació estàndard alta indica unes dades més disperses; una desviació estàndard baixa indica un conjunt de dades més dens.
4. Exemple de càlcul senzill
Per exemple, les dades de la puntuació de la prova: 70, 75, 80, 85, 90.
1) Calcula la mitjana:
\[
\bar{x} = \frac{70+75+80+85+90}{5} = 80
\]
2) Calcula la desviació de cada valor respecte a la mitjana:
– 70: \(70-80=-10\)
– 75: \(75-80=-5\)
– 80: \(80-80=0\)
– 85: \(85-80=5\)
– 90: \(90-80=10\)
3) Eleva al quadrat la desviació:
- 100, 25, 0, 25, 100
4) Suma:
\[
suma (x_i - x)^2 = 250
\]
5) Variància de la mostra:
\[
s^2 = \frac{250}{5-1} = 62.5
\]
6) Desviació estàndard de la mostra:
\[
s = \sqrt{62.5} \approx 7.91
\]
Interpretació: la puntuació mitjana és de 80, i les puntuacions "normalment" es desvien uns 7-8 punts de la mitjana.
5. Interpretació de la variància i la desviació estàndard
La variància i la desviació estàndard no són només números; s'han d'interpretar en context.
– Desviació estàndard petita: alta consistència. Per exemple, un procés de producció amb una desviació estàndard molt petita en la mida del producte indica una qualitat estable.
– Desviació estàndard gran: variació elevada. En inversió, una desviació estàndard alta dels rendiments significa una volatilitat elevada (risc més alt).
– Comparació entre grups: si dos grups tenen la mateixa mitjana però desviacions estàndard diferents, el grup amb la desviació més petita és més homogeni.
Tanmateix, és important recordar que la desviació estàndard és sensible als valors atípics. Un únic valor extrem pot augmentar significativament la variància i la desviació estàndard. Per tant, l'anàlisi de distribució sovint es complementa amb visualitzacions (histogrames, diagrames de caixa) o mesures robustes com ara l'IQR (rang interquartílic).
6. Relació amb la distribució normal i les regles empíriques
En una distribució normal (corba de campana), la desviació estàndard té un significat molt fort. Hi ha una regla empírica que s'utilitza sovint:
– Aproximadament el 68% de les dades es troben en el rang \(\bar{x} \pm 1s\)
– Aproximadament el 95% de les dades es troben en el rang \(\bar{x} \pm 2s\)
– Aproximadament el 99,7% de les dades es troben en el rang \(\bar{x} \pm 3s\)
Aquesta regla ajuda a fer interpretacions ràpides, per exemple, avaluant si un valor és "poc natural" o encara està dins del rang general.
7. Aplicacions en diversos camps
1) Educació: Seguiment de la distribució de les notes dels estudiants. Petites desviacions indiquen resultats d'aprenentatge equitatius, mentre que grans desviacions poden indicar llacunes en la comprensió.
2) Indústria: control de qualitat. La variància s'utilitza per avaluar la consistència de la producció.
3) Finances: mesura la volatilitat del preu de les accions, la rendibilitat de la cartera i el risc d'inversió.
4) Salut: observar les variacions de la pressió arterial, els nivells de sucre o altres indicadors clínics en una població de pacients.
5) Recerca social: avaluació de l'heterogeneïtat de les respostes a l'enquesta i la diversitat de les característiques dels enquestats.
8. Errors comuns i consells pràctics
Alguns errors comuns:
– Utilitzant la variància mostral (divisor \(n-1\)) fins i tot si les dades són la població completa, o viceversa.
– Interpretar la variància sense considerar les seves unitats quadrades; és més segur utilitzar la desviació estàndard per a la interpretació.
– Ignoreu els valors atípics; és millor comprovar primer les dades.
– Comparar desviacions estàndard entre dades amb diferents escales sense normalització; en alguns casos, utilitzar el coeficient de variació (CV), és a dir, \(CV = \frac{s}{\bar{x}}\times 100\%) per a una comparació més justa.
Tancament
La variància i la desviació estàndard són eines fonamentals per comprendre la distribució de dades. La variància proporciona una base matemàtica sòlida, mentre que la desviació estàndard proporciona una mesura més fàcil d'interpretar perquè és similar a les dades originals. Mitjançant l'ús d'aquestes dues mesures, podem avaluar més clarament la consistència, el risc i les diferències en les característiques de distribució entre conjunts de dades. En la pràctica de l'anàlisi de dades, la variància i la desviació estàndard s'utilitzen millor juntament amb mesures de tendència central i visualització per proporcionar una imatge completa de les dades i prendre decisions més informades.
Si voleu, puc afegir exemples de càlcul més complexos (per exemple, dades agrupades) o explicar la relació de la desviació estàndard amb la puntuació z i la detecció de valors atípics.
