కనిష్ట వర్గాల పద్ధతి

కనిష్ట వర్గాల పద్ధతి: అంచనాకు ఒక గణిత విధానం

పెండహులువాన్

కనిష్ఠ వర్గాల పద్ధతి అనేది ఒక గణాంక సాంకేతికత. ఇది వాస్తవ విలువలకు మరియు మోడల్ ద్వారా అంచనా వేయబడిన విలువలకు మధ్య ఉన్న వర్గ దోషాల మొత్తాన్ని కనిష్ఠీకరించడం ద్వారా ఒక రిగ్రెషన్ మోడల్‌లోని పారామీటర్లను అంచనా వేయడానికి ఉపయోగపడుతుంది. ఈ పద్ధతి చాలా ప్రాచుర్యం పొందింది మరియు అర్థశాస్త్రం, ఇంజనీరింగ్, జీవశాస్త్రం మరియు సామాజిక శాస్త్రాలు వంటి వివిధ రంగాలలో తరచుగా ఉపయోగించబడుతుంది. కనిష్ఠ వర్గాల భావనను 19వ శతాబ్దం ప్రారంభంలో అడ్రియన్-మేరీ లెజెండ్రే మొదటిసారిగా ప్రతిపాదించారు మరియు తరువాత కార్ల్ ఫ్రెడ్రిక్ గాస్ దీనిని మరింత అభివృద్ధి చేశారు.

ప్రాథమిక అవగాహన

సాధారణంగా, కనిష్ట వర్గాల పద్ధతి అవశేషాల (లేదా అంచనా లోపాల) వర్గాల మొత్తాన్ని కనిష్టీకరించడం ద్వారా ఒక దత్తాంశ సమితికి ఉత్తమంగా సరిపోయే రిగ్రెషన్ రేఖను కనుగొనడాన్ని లక్ష్యంగా పెట్టుకుంటుంది. అవశేషం అనేది గమనించిన విలువకు మరియు అంచనా వేసిన విలువకు మధ్య ఉన్న వ్యత్యాసం.

మన వద్ద \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)\) అనే పరిశీలనల జతలతో కూడిన ఒక దత్తాంశ సమితి ఉంటే, అప్పుడు వర్గ దోషాల మొత్తం sum\( \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \)ను కనిష్ఠం చేసే \(y = mx + b\) అనే రేఖను కనుగొనడమే మన లక్ష్యం.

ఈ పద్ధతిని సరళ రేఖీయ రిగ్రెషన్ మరియు బహుళ రేఖీయ రిగ్రెషన్ రెండింటికీ వర్తింపజేయవచ్చు. సరళ రేఖీయ రిగ్రెషన్‌లో, మనకు ఒకే ఒక స్వతంత్ర చరరాశి (x) ఉంటుంది, అయితే బహుళ రేఖీయ రిగ్రెషన్‌లో ఒకటి కంటే ఎక్కువ స్వతంత్ర చరరాశులు ఉంటాయి.

సరళ రేఖీయ రిగ్రెషన్

సరళ రేఖీయ రిగ్రెషన్‌తో ప్రారంభిద్దాం. మన వద్ద \((x_1, y_1), (x_2, y_2), …, (x_n, y_n)) అనే డేటా సెట్ ఉందని అనుకుందాం. మనం అమర్చాలనుకుంటున్న సరళ రేఖీయ రిగ్రెషన్ మోడల్ ఇది:

\[ y = mx + b + \epsilon \]

ఇక్కడ \( m \) అనేది వాలు, \( b \) అనేది అంతరఖండం, మరియు \( \epsilon \) అనేది యాదృచ్ఛిక దోషం.

కనిష్ట వర్గాల పద్ధతిని ఉపయోగించి, వర్గ దోష ప్రమేయాన్ని కనిష్టీకరించడం ద్వారా మనం పారామీటర్లు \( m \) మరియు \( b \) యొక్క అంచనాలను కనుగొనవచ్చు:

\[ S(m, b) = \sum_{i=1}^{n} (y_i – (mx_i + b))^2 \]

\( S(m, b) \) ను కనిష్ఠం చేయడానికి, మనం \( S \) యొక్క పాక్షిక అవకలజాలను \( m \) మరియు \( b \) లకు సంబంధించి కనుగొని, ఆపై ఈ సమీకరణాన్ని \( m \) మరియు \( b \) ల కోసం పరిష్కరిస్తాము:

\[ \begin{aligned}
\frac{\partial S}{\partial m} &= -2 \sum_{i=1}^{n} x_i (y_i – (mx_i + b)) = 0 \\
\frac{\partial S}{\partial b} &= -2 \sum_{i=1}^{n} (y_i – (mx_i + b)) = 0
\end{aligned} \]

సరళీకరణ తర్వాత, మనకు ఈ క్రింది రెండు సాధారణ సమీకరణాలు లభిస్తాయి:

\[ \begin{aligned}
n\bar{y} &= m \sum_{i=1}^{n} x_i + nb \\
\sum_{i=1}^{n}x_i y_i &= m \sum_{i=1}^{n}x_i^2 + b \sum_{i=1}^{n}x_i
\end{aligned} \]

పై సమీకరణాల వ్యవస్థను పరిష్కరించడం ద్వారా, వర్గ దోషాన్ని కనిష్ఠం చేసే \( m \) మరియు \( b \) విలువలని మనం కనుగొనవచ్చు.

బహుళ సరళ రిగ్రెషన్

బహుళ సరళ ప్రతిగమనంలో, మనకు ఒకటి కంటే ఎక్కువ స్వతంత్ర చరరాశులు ఉన్న పరిస్థితి ఎదురవుతుంది. మన వద్ద \((x_{i1}, x_{i2}, …, x_{ik}, y_i)\) అనే టపుల్ రూపంలో డేటా ఉందని అనుకుందాం. మనం ఉపయోగించే ప్రతిగమన నమూనా:

\[ y = b_0 + b_1 x_1 + b_2 x_2 + … + b_k x_k + \epsilon \]

ఈ సమీకరణాన్ని మాత్రిక రూపంలో ఇలా వ్రాయవచ్చు:

\[ \mathbf{y} = \mathbf{X} \mathbf{b} + \mathbf{\epsilon} \]

di mana:
– \( \mathbf{y} \) అనేది గమనించిన y విలువల యొక్క కాలమ్ వెక్టర్.
– \( \mathbf{X} \) అనేది పరిశీలించిన x విలువల మాత్రిక (అంతరాయం కోసం కాలమ్ 1తో సహా).
– \( \mathbf{b} \) అనేది పారామితుల యొక్క ఒక కాలమ్ వెక్టర్ (\( b_0 \) తో సహా).

కనిష్ట వర్గాల పద్ధతి యొక్క లక్ష్యం ఈ క్రింది వర్గ దోష ప్రమేయాన్ని కనిష్టీకరించడం:

\[ S(\mathbf{b}) = (\mathbf{y} – \mathbf{Xb})^T (\mathbf{y} – \mathbf{Xb}) \]

ఈ ఫంక్షన్‌ను కనిష్ఠం చేయడానికి, మనం \( \mathbf{b} \) దృష్ట్యా S యొక్క పాక్షిక అవకలనాన్ని తీసుకుని దానిని సున్నాకు సమానం చేస్తాము. ఇది బహుళ సరళ ప్రతిగమనానికి సాధారణ సమీకరణాన్ని ఇస్తుంది:

\[ \mathbf{X}^T \mathbf{Xb} = \mathbf{X}^T \mathbf{y} \]

పై సమీకరణాల వ్యవస్థను పరిష్కరించడం ద్వారా, మనం పరామితి \( \mathbf{b} \) యొక్క అంచనాను పొందవచ్చు:

\[ \mathbf{b} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

ప్రయోజనాలు మరియు పరిమితులు

కనిష్ట వర్గాల పద్ధతికి అనేక ప్రయోజనాలు ఉన్నాయి. ఇది ఉపయోగించడానికి చాలా సమర్థవంతమైన మరియు సరళమైన పద్ధతి. \( \mathbf{X}^T \mathbf{X} \) విలోమనీయమైనప్పుడు ఇది ఒక ఏకైక పరిష్కారాన్ని అందిస్తుంది, ఇది అనేక ఆచరణాత్మక అనువర్తనాలకు నమ్మదగినదిగా చేస్తుంది.

అయితే, కనిష్ట వర్గాల పద్ధతికి కూడా పరిమితులు ఉన్నాయి. ఇది విపరీత విలువల పట్ల చాలా సున్నితంగా ఉంటుంది, ఎందుకంటే వర్గ దోషం చిన్న వ్యత్యాసాల కంటే పెద్ద వ్యత్యాసాలను ఎక్కువగా నొక్కి చెబుతుంది. అంతేకాకుండా, మంచి ఫలితాల కోసం దోషాలు సున్నా సగటు మరియు స్థిరమైన విస్తృతితో సాధారణ పంపిణీని కలిగి ఉంటాయనే సాంప్రదాయక ఊహ తప్పనిసరిగా నెరవేరాలి.

ఆచరణాత్మక అనువర్తనాలు

అంచనా నమూనాలను రూపొందించడానికి, డేటా ట్రెండ్ విశ్లేషణ, అంచనా మరియు మెషిన్ లెర్నింగ్‌లో లీస్ట్ స్క్వేర్స్ పద్ధతిని తరచుగా ఉపయోగిస్తారు. ఆర్థిక రంగంలో, స్టాక్ ధరలు లేదా మార్కెట్ పనితీరును అంచనా వేయడానికి లీస్ట్ స్క్వేర్స్ పద్ధతిని ఉపయోగిస్తారు. వైద్యరంగంలో, ఔషధ మోతాదు మరియు రోగి స్పందన మధ్య సంబంధాన్ని నమూనా చేయడానికి దీనిని ఉపయోగిస్తారు. సామాజిక శాస్త్రాలలో, విద్య మరియు ఆదాయం వంటి చరరాశుల మధ్య సంబంధాన్ని అర్థం చేసుకోవడానికి ఇది సహాయపడుతుంది.

ముగింపు

కనిష్ట వర్గాల పద్ధతి అనేది గణాంకాలు మరియు డేటా విశ్లేషణలో ఒక ప్రాథమిక సాంకేతికత. భావనలో సరళంగా ఉన్నప్పటికీ, ఈ పద్ధతి చరరాశుల మధ్య సంబంధాలను నమూనా చేయడంలో మరియు అర్థం చేసుకోవడంలో గణనీయమైన శక్తిని అందిస్తుంది. అనేక రంగాలలో విస్తృతమైన అనువర్తనాలతో, ఈ పద్ధతిపై పటిష్టమైన అవగాహన నిపుణులకు మరియు పరిశోధకులకు అమూల్యమైనది. భవిష్యత్తులో, బిగ్ డేటా యుగంలో ఎదురయ్యే డేటా పరిమాణం పెరుగుతున్నందున, కనిష్ట వర్గాల వంటి సాంప్రదాయ పద్ధతుల అనుసరణ మరియు అనువర్తనం మరింతగా ప్రాముఖ్యతను సంతరించుకుంటాయి.