ניתוח שונות וסטיית תקן בהתפלגות נתונים

ניתוח שונות וסטיית תקן בהתפלגות נתונים

בסטטיסטיקה, הבנת התפלגות הנתונים חשובה לא פחות מהבנת ערכים מרכזיים כמו הממוצע או החציון. שתי קבוצות נתונים יכולות להיות בעלות ממוצע זהה, אך ההתפלגויות שלהן שונות מאוד: אחת עשויה להיות מקובצת היטב סביב הממוצע, בעוד שהשנייה עשויה להיות מפוזרת באופן נרחב. כאן נכנסות לתמונה השונות וסטיית התקן - הן מדדים מרכזיים לכמה נתונים משתנים מערכם המרכזי. מאמר זה דן במושגים שלהן, בנוסחאות, בפרשנויות ובדוגמאות ליישומן בניתוח נתונים.

1. מדוע הפצת נתונים חשובה?

פיזור הנתונים מספק מידע על עקביות וסיכון. לדוגמה, בהקשר של ציוני מבחנים, הממוצע עבור כיתות א' ו-ב' יכול להיות 80. עם זאת, אם השונות בציוני כיתה א' קטנה, רוב התלמידים מציגים ביצועים דומים. לעומת זאת, אם השונות בציוני כיתה ב' גדולה, סביר להניח שלחלק מהתלמידים יהיו ציונים גבוהים מאוד ולאחרים יהיו ציונים נמוכים מאוד. בעסקים, פיזור נתוני המכירות מעיד על יציבות הכנסות; במימון, פיזור תשואות ההשקעה מעיד על רמת הסיכון.

על ידי הבנת השונות וסטיית התקן, מקבלי החלטות יכולים:
– להעריך האם תהליך יציב או לא (למשל, ייצור במפעל).
– השוואת עקביות בין קבוצות (למשל, שתי שיטות למידה).
– זיהוי נתונים חריגים שכדאי לבדוק.
– הערכת אי-ודאות בתחזיות ובמודלים.

2. מושג בסיסי של שונות

השונות מודדת את הסטייה הריבועית הממוצעת של כל קבוצת נתונים מהממוצע. הסטייה היא ההפרש בין ערכי הנתונים לממוצע. אם ערכים רבים רחוקים מהממוצע, השונות תהיה גדולה. אם הערכים קרובים לממוצע, השונות תהיה קטנה.

נניח שיש נתונים: \(x_1, x_2, …, x_n\) עם ממוצע של \(\bar{x}\). הסטייה של כל נתונים היא \(x_i – \bar{x}\). עם זאת, אם הסטיות מוסיפות ישירות, התוצאה היא תמיד אפס מכיוון שיש סטיות חיוביות ושליליות שמבטלות זו את זו. כדי להתגבר על כך, הסטיות מוחזרות בריבוע כך שכולן חיוביות. כאן נולדת השונות.

א) שונות אוכלוסייה
אם הנתונים נחשבים כמייצגים את כלל האוכלוסייה, שונות האוכלוסייה נכתבת כך:
\[
‏\sigma^2 = \frac{\sum_{i=1}^{N}(x_i – \mu)^2}{N}
\]
אֵיפֹה:
– \(N\) הוא מספר נתוני האוכלוסייה,
– \(\mu\) הוא ממוצע האוכלוסייה,
– \(\sigma^2\) היא שונות האוכלוסייה.

ב) שונות מדגם
אם הנתונים הם מדגם מאוכלוסייה גדולה יותר, נעשה שימוש בשונות המדגם:
\[
s^2 = \frac{\sum_{i=1}^{n}(x_i – \bar{x})^2}{n-1}
\]
המחלק \(n-1\) נקרא תיקון בסל, והוא משמש כדי להבטיח שאומדן השונות עבור האוכלוסייה אינו מוטה. בעיקרון, מכיוון שממוצע המדגם מחושב מהנתונים עצמם, יש "אובדן דרגות חופש", ולכן המחלק מותאם בהתאם.

3. סטיית תקן: שורש השונות

לשונות יש חיסרון מעשי אחד: היחידות שלה הן ריבוע היחידות של הנתונים. אם הנתונים הם ב-"רופיה", השונות היא ב-"רופיה²", דבר שקשה לפרש ישירות. לכן, אנו משתמשים בסטיית התקן, שהיא השורש הריבועי של השונות.

א) סטיית תקן של האוכלוסייה
\[
סיגמא = ∫sqrt{\sigma^2}
\]

ב) סטיית תקן מדגם
\[
s = ∫s²
\]

לסטיית התקן יש אותן יחידות כמו לנתונים המקוריים, מה שמקל על ההבנה. סטיית תקן גבוהה מצביעה על נתונים מפוזרים יותר; סטיית תקן נמוכה מצביעה על מערך נתונים צפוף יותר.

4. דוגמה לחישוב פשוט

לדוגמה, נתוני ציוני המבחן: 70, 75, 80, 85, 90.

1) חשב את הממוצע:
\[
\bar{x} = \frac{70+75+80+85+90}{5} = 80
\]

2) חשב את הסטייה של כל ערך מהממוצע:
– 70: \(70-80=-10\)
– 75: \(75-80=-5\)
– 80: \(80-80=0\)
– 85: \(85-80=5\)
– 90: \(90-80=10\)

3) מעלה את הסטייה בריבוע:
– 100, 25, 0, 25, 100

4) סכום:
\[
סכום (x_i - x)^2 = 250
\]

5) שונות מדגם:
\[
s^2 = \frac{250}{5-1} = 62.5
\]

6) סטיית תקן מדגם:
\[
s = 62.5 בערך 7.91
\]

פרשנות: הציון הממוצע הוא 80, והציונים "בדרך כלל" סוטים בכ-7-8 נקודות מהממוצע.

5. פירוש השונות וסטיית התקן

שונות וסטיית תקן אינן רק מספרים; יש לפרש אותן בהקשר.

– סטיית תקן קטנה: עקביות גבוהה. לדוגמה, תהליך ייצור עם סטיית תקן קטנה מאוד בגודל המוצר מצביע על איכות יציבה.
– סטיית תקן גדולה: שונות גבוהה. בהשקעה, סטיית תקן גבוהה של תשואות פירושה תנודתיות גבוהה (סיכון גבוה יותר).
– השוואה בין קבוצות: אם לשתי קבוצות יש ממוצע זהה אך סטיות תקן שונות, הקבוצה עם הסטייה הקטנה יותר היא הומוגנית יותר.

עם זאת, חשוב לזכור שסטיית התקן רגישה לערכים חריגים. ערך קיצוני יחיד יכול להגדיל משמעותית את השונות ואת סטיית התקן. לכן, ניתוח התפלגות משלים לעתים קרובות על ידי ויזואליזציות (היסטוגרמות, תרשים קופסאות) או מדדים חזקים כגון טווח בין-רבעוני (IQR).

6. הקשר בין התפלגות נורמלית וכללים אמפיריים

בהתפלגות נורמלית (עקומת פעמון), לסטיית התקן יש משמעות חזקה מאוד. יש כלל אמפירי המשמש לעתים קרובות:
– כ-68% מהנתונים נמצאים בטווח \(\bar{x} \pm 1s\)
– כ-95% מהנתונים נמצאים בטווח \(\bar{x} \pm 2s\)
– כ-99,7% מהנתונים נמצאים בטווח \(\bar{x} \pm 3s\)

כלל זה מסייע בביצוע פרשנויות מהירות, למשל הערכה האם ערך הוא "לא טבעי" או עדיין בטווח הכללי.

7. יישומים בתחומים שונים

1) חינוך: ניטור התפלגות ציוני התלמידים. סטיות קטנות מצביעות על תוצאות למידה שוויוניות, בעוד שסטיות גדולות יכולות להצביע על פערים בהבנה.
2) תעשייה: בקרת איכות. שונות משמשת להערכת עקביות הייצור.
3) פיננסים: מודד את תנודתיות מחירי המניות, תשואות תיק ההשקעות וסיכון ההשקעה.
4) בריאות: התבוננות בשינויים בלחץ הדם, ברמות הסוכר או באינדיקטורים קליניים אחרים באוכלוסיית חולים.
5) מחקר חברתי: הערכת ההטרוגניות של תשובות הסקר ומגוון מאפייני המשיבים.

8. טעויות נפוצות וטיפים מעשיים

כמה טעויות נפוצות:
– שימוש בשונות מדגם (מחלק \(n-1\)) למרות שהנתונים הם האוכלוסייה המלאה, או להיפך.
– לפרש את השונות מבלי להתחשב ביחידות הריבועיות שלה; בטוח יותר להשתמש בסטיית תקן לצורך פירוש.
– התעלמו מחריגים; עדיף לבדוק את הנתונים תחילה.
– השווה סטיות תקן בין נתונים עם סולמות שונים ללא נורמליזציה; במקרים מסוימים, השתמש במקדם השונות (CV), כלומר \(CV = \frac{s}{\bar{x}}\× 100\%\)\) להשוואה הוגנת יותר.

סְגִירָה

שונות וסטיית תקן הן כלים בסיסיים להבנת התפלגות נתונים. שונות מספקת בסיס מתמטי חזק, בעוד שסטיית תקן מספקת מדד שקל יותר לפרש משום שהוא דומה לנתונים המקוריים. באמצעות שני מדדים אלה, נוכל להעריך בצורה ברורה יותר את העקביות, הסיכון וההבדלים במאפייני ההתפלגות בין מערכי נתונים. בפרקטיקה של ניתוח נתונים, שונות וסטיית תקן משמשות בצורה הטובה ביותר בשילוב עם מדדי נטייה מרכזית והדמיה כדי לספק תמונה מלאה של הנתונים ולקבל החלטות מושכלות יותר.

אם תרצה, אוכל להוסיף דוגמאות חישוב מורכבות יותר (למשל, נתונים מקובצים), או להסביר את הקשר בין סטיית תקן לבין ציון z וזיהוי חריגים.