קלענסטע קוואַדראַטן מעטאָד

קלענסטע קוואדראטן מעטאד: א מאטעמאטישער צוגאנג צו שאצונג

הקדמה

די מעטאָדע פון ​​קלענסטע קוואַדראַטן איז אַ סטאַטיסטישע טעכניק געניצט צו אָפּשאַצן פּאַראַמעטערס אין אַ רעגרעסיע מאָדעל דורך מינימיזירן די סומע פון ​​די קוואַדראַטישע ערראָרס צווישן די פאַקטישע ווערטן און די ווערטן פאָרויסגעזאָגט דורך דעם מאָדעל. די מעטאָדע איז זייער פאָלקס און ווערט אָפט געניצט אין פֿאַרשידענע פעלדער ווי עקאָנאָמיק, אינזשעניריע, ביאָלאָגיע און די סאציאלע וויסנשאַפֿטן. דער באַגריף פון קלענסטע קוואַדראַטן איז ערשט פארגעשטעלט געוואָרן דורך אַדריען-מאַריע לעגענדרע אין די פריע 19טע יאָרהונדערט און איז שפּעטער ווייטער דעוועלאָפּעד געוואָרן דורך קאַרל פרידריך גאַוס.

גרונטלעכע פארשטאנד

בכלל, די קלענסטע קוואדראטן מעטאד צילט צו געפינען די בעסט-פאסיגע רעגרעסיע ליניע פאר א דאטן-זאמלונג דורך מינימיזירן די סומע פון ​​קוואדראטן פון די רעזידוען, אדער פאראויסזאגונגס-פעלערן. די רעזידו איז דער חילוק צווישן דעם באאבאכטעטן ווערט און דעם פאראויסגעזאגטן ווערט.

אויב מיר האָבן אַ דאַטן-זאַמלונג וואָס באַשטייט פֿון פּאָרן פֿון אָבסערוואַציעס (x_1, y_1), (x_2, y_2), …, (x_n, y_n)), דאַן איז אונדזער ציל צו געפֿינען די ליניע (y = mx + b) וואָס מינימיזירט די סומע פֿון קוואַדראַטישע פֿעלערן sum (sum_{i=1}^{n} (y_i – (mx_i + b))^2).

די מעטאָדע קען ווערן אָנגעווענדט צו ביידע פּשוטע לינעאַרע רעגרעסיע און קייפל לינעאַרע רעגרעסיע. אין פּשוטער לינעאַרער רעגרעסיע, האָבן מיר בלויז איין אומאָפּהענגיקע וועריאַבל (x), בשעת קייפל לינעאַרע רעגרעסיע נעמט אריין מער ווי איין אומאָפּהענגיקע וועריאַבל.

פּשוטע לינעאַרע רעגרעסיע

לאָמיר אָנהייבן מיט פּשוטער לינעאַרער רעגרעסיע. זאָגן מיר האָבן אַ דאַטן סעט \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)). דער פּשוטער לינעאַרער רעגרעסיע מאָדעל וואָס מיר ווילן צופּאַסן איז:

\[ y = mx + b + \epsilon \]

וואו \(m \) איז די שיפּוע, \(b \) איז דער אינטערסעפּציע, און \(\epsilon \) איז דער צופֿעליקער טעות.

ניצנדיק די קלענסטע קוואדראטן מעטאָדע, קענען מיר געפֿינען שאַצונגען פֿון די פּאַראַמעטערס _(m) און _(b) דורך מינימיזירן די קוואַדראַטישע טעות פֿונקציע:

[S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

כדי צו מינימיזירן S(m, b)), געפינען מיר די טיילווייזע דעריוואַטיוון פון S אין באַצוג צו m און b, און דערנאָך לייזן מיר די גלייכונג פֿאַר m און b):

\[ \begin{אויסגעשטעלט}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\ענד{אויסגעשטעלט} \]

נאך סימפליפיקאציע, באקומען מיר די פאלגנדע צוויי נארמאלע גלייכונגען:

\[ \begin{אויסגעשטעלט}
n\bar{y} & = m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i & = m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\ענד{אויסגעשטעלט} \]

דורך לייזן די סיסטעם פון גלייכונגען אויבן, קענען מיר געפֿינען די ווערטן פון \(m \) און \(b \) וואָס מינימיזירן דעם קוואַדראַטישן טעות.

קייפל לינעאַר רעגרעסיע

אין מערפאכיגער לינעארער רעגרעסיע, שטייען מיר פאר א סיטואציע וואו מיר האבן מער ווי איין אומאפהענגיקע וועריאבעל. לאמיר זאגן מיר האבן דאטן אין דער פארעם פון א טופל \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\). דער רעגרעסיע מאדעל וואס מיר ניצן איז:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

די גלייכונג קען געשריבן ווערן אין מאַטריץ פֿאָרעם ווי:

\[ \mathbf{י} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

די מאנא:
– \( \mathbf{y} \) איז אַ קאָלום וועקטאָר פֿון באַאָבאַכטע y ווערטן.
– \( \mathbf{X} \) איז אַ מאַטריץ פֿון באַאָבאַכטע x ווערטן (אַרייַנגערעכנט קאָלום 1 פֿאַר דעם אינטערסעפּשאַן).
– \( \mathbf{b} \) איז אַ קאָלום וועקטאָר פֿון די פּאַראַמעטערס (אַרייַנגערעכנט \(b_0 \)).

די ציל פון דער קלענסטער קוואַדראַטן מעטאָדע איז צו מינימיזירן די פאלגענדע קוואַדראַטישע טעות פונקציע:

\[ S(\mathbf{ב}) = (\mathbf{י} - \mathbf{קסב})^ט (\מאטהבף{י} - \מאטהבף{קסב}) \]

כדי צו מינימיזירן די פונקציע, נעמען מיר די טיילווייזע דעריוואטיוו פון S אין באצוג צו \( \mathbf{b} \) און שטעלן עס צו נול. דאס גיט די נארמאלע גלייכונג פאר מערפאכיגע לינעארע רעגרעסיע:

[\mathbf{X}^T \mathbf{X} = \mathbf{X}^T \mathbf{y}]

דורך לייזן די סיסטעם פון גלייכונגען אויבן, קענען מיר באַקומען אַן אָפּשאַצונג פון דעם פּאַראַמעטער \( \mathbf{b} \):

[\mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

מעלות און לימיטאַציעס

די קלענסטע קוואַדראַטן מעטאָדע האט פילע מעלות. עס איז אַ זייער עפעקטיוו און פּשוט מעטאָדע צו נוצן. עס אָפפערס אַ יינציק לייזונג אויב \( \mathbf{X}^T \mathbf{X} \) איז ינווערטאַבאַל, מאכן עס פאַרלאָזלעך פֿאַר פילע פּראַקטיש אַפּלאַקיישאַנז.

אבער, די קלענסטע קוואדראטן מעטאד האט אויך באגרענעצונגען. עס איז זייער סענסיטיוו צו אויסנאמען ווייל די קוואדראטישע טעות שטעלט דעם טראָפּ אויף גרויסע אונטערשיידן מער ווי קליינע. ווייטער, די קלאַסישע הנחה אז די טעותן האבן א נארמאלע פארטיילונג מיט נול דורכשניט און קאנסטאנטע וואריאנץ מוז זיין דערפילט פאר גוטע רעזולטאטן.

פּראַקטישע אַפּליקאַציעס

די קלענסטע קוואַדראַטן מעטאָדע ווערט אָפט גענוצט אין דאַטן טרענד אַנאַליז, פאָרויסזאָגן און מאַשין לערנען צו בויען פאָרויסזאָגן מאָדעלן. אין דער פינאַנציעלער אינדוסטריע ווערט די קלענסטע קוואַדראַטן מעטאָדע גענוצט צו פאָרויסזאָגן אַקציע פּרייזן אָדער מאַרק פאָרשטעלונג. אין מעדיצין ווערט עס גענוצט צו מאָדעלירן די שייכות צווישן מעדיקאַמענט דאָזע און פּאַציענט ענטפער. אין די סאציאלע וויסנשאפטן העלפט עס פֿאַרשטיין די שייכות צווישן וועריאַבאַלן ווי בילדונג און הכנסה.

קעסימפּולאַן

די קלענסטע קוואַדראַטן מעטאָדע איז איינע פון ​​די יסודותדיקע טעכניקן אין סטאַטיסטיק און דאַטן אַנאַליז. כאָטש פּשוט אין קאָנצעפּט, אָפפערט די מעטאָדע באַדייטנדיקע מאַכט אין מאָדעלירן און פֿאַרשטיין באַציִונגען צווישן וועריאַבאַלן. מיט ברייטע אַפּליקאַציעס אין אַ ברייטע קייט פון פעלדער, איז אַ גוט פֿאַרשטאַנד פון די מעטאָדע אַנשאַצלעך פֿאַר פּראָפעסיאָנאַלן און פֿאָרשער. גייענדיק פאָרויס, מיט די וואַקסנדיקע באַנד פון דאַטן וואָס מען טרעפֿט אין דער גרויסער דאַטן תקופה, וועט די אַדאַפּטאַציע און אַפּליקאַציע פון ​​קלאַסישע מעטאָדן ווי קלענסטע קוואַדראַטן נאָר ווערן מער און מער באַטייַטיק.