Anàlisi de la distribució de dades mitjançant la desviació estàndard
En estadística, no n'hi ha prou amb entendre el "centre" d'un conjunt de dades. Dos conjunts de dades poden tenir la mateixa mitjana, però les seves característiques difereixen significativament a causa del seu grau de dispersió. Aquí és on el concepte de dispersió de dades esdevé important. Una de les mesures de dispersió més populars, robustes i utilitzades amb freqüència en diversos camps, des de l'educació i l'economia fins a la salut i la ciència de dades, és la desviació estàndard. Aquest article tracta el concepte, el càlcul, la interpretació i l'ús de la desviació estàndard per analitzar com estan disperses les dades respecte al seu valor central.
1. Per què cal analitzar la distribució de dades?
Imagineu dues classes amb una puntuació mitjana de 80 en els exàmens de matemàtiques. A la classe A, gairebé tots els estudiants van obtenir puntuacions entre 78 i 82. A la classe B, alguns estudiants van obtenir puntuacions de 50 i alguns de 100. Les mitjanes són les mateixes, però les situacions a les dues classes són clarament diferents. La classe A mostra un rendiment consistent, mentre que la classe B mostra una disparitat significativa.
Analitzant la distribució, podem:
– Avaluar la consistència o variació d'un fenomen.
– Mesura del risc (per exemple, la variació de la rendibilitat de les inversions).
– Comparació de l'estabilitat del procés (per exemple, la qualitat de la producció).
– Detectar possibles anomalies o dades extremes.
La desviació estàndard és l'eina principal per a aquest propòsit perquè mesura fins a quin punt les dades es dispersen de la mitjana.
2. Definició de desviació estàndard
La desviació estàndard és l'arrel quadrada de la variància. Mentre que la variància mesura la mitjana dels quadrats de les diferències entre les dades i la mitjana, la desviació estàndard retorna les unitats de mesura a la seva escala original (per exemple, puntuacions de les proves, quilograms, rupies, etc.). Això fa que la desviació estàndard sigui més fàcil d'interpretar.
Intuïtivament:
– Desviació estàndard petita → les dades recollides són properes a la mitjana (més uniformes).
– Desviació estàndard gran → les dades estan disperses lluny de la mitjana (més diverses).
3. Fórmula de la desviació estàndard: població vs. mostra
En estadística, distingim entre el càlcul de la desviació estàndard per a poblacions i mostres.
a) Desviació estàndard de la població (σ)
Si les dades que s'analitzen són tots els membres de la població, la fórmula és:
\[
\sigma = \sqrt{\frac{\sum (x_i – \mu)^2}{N}}
\]
Informació:
– \(x_i\) = i-èsim valor de les dades
– μ = mitjana de la població
– \(N\) = nombre de dades de població
b) Desviació estàndard de la mostra (s)
Si les dades que s'analitzen només són una part de la població (mostra), la fórmula és:
\[
s = \sqrt{\frac{\sum (x_i – \bar{x})^2}{n-1}}
\]
Informació:
– \(\bar{x}\) = mitjana mostral
– \(n\) = nombre de dades de mostra
– \(n-1\) s'anomena graus de llibertat (correcció de Bessel), que s'utilitza perquè l'estimació de la variància/desviació estàndard no sigui esbiaixada.
A la pràctica diària, les dades que tenim solen ser en forma de mostres, per la qual cosa la fórmula \(n-1\) s'utilitza molt habitualment.
4. Passos per calcular la desviació estàndard
Per entendre el procés, aquests són els passos generals per calcular la desviació estàndard de la mostra:
1. Calcula la mitjana (\(\bar{x}\)).
2. Calcula la diferència entre cada dada i la mitjana (\(x_i – \bar{x}\)).
3. Elevar al quadrat la diferència \((x_i – \bar{x})^2\).
4. Suma tots els quadrats.
5. Dividiu per \(n-1\) per obtenir la variància mostral.
6. Calcula l'arrel quadrada del resultat per obtenir la desviació estàndard (s).
Exemple senzill
Suposem que els valors de les dades són: 70, 75, 80, 85, 90 (n = 5)
– Mitjana: \(\bar{x} = (70 + 75 + 80 + 85 + 90) / 5 = 80\)
– Diferència: -10, -5, 0, 5, 10
– Diferència al quadrat: 100, 25, 0, 25, 100
– Nombre de quadrats: 250
– Variància de la mostra: \(250/(5-1)=62,5\)
– Desviació estàndard: \(s=\sqrt{62,5}\aprox 7,91\)
La interpretació simple: els valors es desvien en una mitjana d'uns 7,91 punts de la mitjana de 80.
5. Interpretació de la desviació estàndard en l'anàlisi de dades
La desviació estàndard no és independent; el seu significat depèn del context. Tanmateix, algunes pautes generals poden ser útils:
– Si la desviació estàndard és propera a 0, les dades estan molt concentrades al voltant de la mitjana.
– Si la desviació estàndard és gran, les dades són més variables, cosa que indica no uniformitat.
La desviació estàndard també s'utilitza sovint per a:
– Comparació de dos grups: per exemple, dues classes amb la mateixa mitjana, però desviacions estàndard diferents.
– Avaluació de l'estabilitat del procés: la producció a la fàbrica amb una petita desviació estàndard de la mida del producte significa una qualitat més consistent.
– Mesura de la volatilitat: en finances, la desviació estàndard de la rendibilitat de les accions s'utilitza sovint com a indicador de risc.
6. Relació entre la desviació estàndard i la distribució normal
En dades que segueixen una distribució normal, la desviació estàndard té una interpretació molt forta a través de la regla empírica:
– Aproximadament el 68% de les dades es troben en el rang \(\bar{x} \pm 1s\)
– Aproximadament el 95% de les dades es troben en el rang \(\bar{x} \pm 2s\)
– Aproximadament el 99,7% de les dades es troben en el rang \(\bar{x} \pm 3s\)
Aquesta regla és útil per estimar quantes dades són "normals" al voltant de la mitjana i facilita la detecció de valors extrems. Tanmateix, és important recordar que aquesta regla només és precisa si les dades són realment properes a la normalitat.
7. Desviació estàndard vs. altres mesures de dispersió
Tot i que la desviació estàndard és molt popular, hi ha altres mesures de dispersió que també són importants:
– Rang: la diferència entre els valors màxims i mínims. Simple però molt sensible als valors atípics.
– IQR (rang interquartílic): el rang entre el quartil 1 i el quartil 3. Més resistent als valors atípics que la desviació estàndard.
– MAD (desviació absoluta mediana): una mesura robusta basada en la mediana, adequada per a dades amb molts valors atípics.
La desviació estàndard és superior quan les dades són relativament "netes" i la distribució no té cues massa pronunciades. Si les dades contenen molts valors atípics, la desviació estàndard pot arribar a ser més gran i menys representativa de la majoria de les dades.
8. Avantatges i limitacions de la desviació estàndard
Excés
– Utilitza totes les dades (no només els valors extrems).
– Té una base teòrica sòlida i s'utilitza sovint en molts mètodes estadístics avançats.
– Fàcil d'interpretar perquè les unitats són les mateixes que les dades originals.
Limitacions
– Molt sensible als valors atípics perquè implica el quadrat de la diferència.
– La interpretació de «gran» o «petit» depèn de l'escala i el context.
– En distribucions molt no normals, la desviació estàndard pot ser menys representativa.
9. Conclusió
Analitzar la dispersió de les dades és un pas crucial per comprendre les característiques d'un conjunt de dades. La desviació estàndard proporciona una mesura clara de fins a quin punt les dades es dispersen respecte a la mitjana, cosa que ens ajuda a avaluar la consistència, el risc i la qualitat d'un procés o fenomen. En entendre com calcular-la i interpretar-la, podem prendre decisions més informades, ja sigui en la recerca acadèmica, l'avaluació del rendiment, el control de qualitat o l'anàlisi empresarial.
En definitiva, la desviació estàndard no és només un número, sinó un resum important de la incertesa i la variació inherents a les dades. Per a una anàlisi més robusta, la desviació estàndard s'ha d'utilitzar juntament amb altres mesures, com ara la mediana, l'IQR o la visualització de dades, per proporcionar una imatge més completa i precisa de la distribució.
