په احصایو کې د متقابل تایید طریقه

په احصایو کې د کراس تایید طریقه

په احصایو او معلوماتو ساینس کې، یوه له لویو ننګونو څخه دا ده چې ډاډ ترلاسه شي چې یو ماډل نه یوازې په هغه معلوماتو کې ښه فعالیت کوي چې په هغه کې روزل شوي، بلکې په نوي، مخکې نه لیدل شوي معلوماتو کې هم ښه فعالیت کوي. دا ستونزه ډیری وختونه د عمومي کولو په نوم یادیږي. دا هغه ځای دی چې متقابل اعتبار راځي: د ماډل ارزونې یوه طریقه چې د یو واحد ډیټا سیټ په کارولو سره د یو واحد ارزونې په پرتله د ماډل فعالیت ډیر عادلانه او دوامداره اندازه کولو لپاره ډیزاین شوې.

ولې د کراس تایید ته اړتیا ده؟

کله چې موږ د وړاندوینې ماډل جوړوو - د مثال په توګه، د کور د قیمتونو وړاندوینې لپاره د ریګریشن ماډل یا د سپیم کشف کولو لپاره د طبقه بندي ماډل - موږ معمولا معلومات په دوو برخو ویشو: د روزنې سیټ او د ازموینې سیټ. ماډل د روزنې معلوماتو په اساس روزل کیږي او بیا د ازموینې معلوماتو په اساس ارزول کیږي. دا طریقه ساده ده، مګر دا یو نیمګړتیا لري: د ارزونې پایلې کولی شي په پراخه کچه پدې پورې اړه ولري چې معلومات څنګه ویشل شوي. که چیرې د ازموینې معلومات "اسانه" وي، فعالیت لوړ ښکاري؛ که چیرې د ازموینې معلومات "سخت" وي، فعالیت ټیټ ښکاري.

متقابل اعتبار د مختلفو معلوماتو سیټونو په اړه د ډیری روزنې او ازموینې پروسو ترسره کولو او بیا د پایلو اوسط کولو سره په یو واحد معلوماتو سیټ تکیه کموي. دا د فعالیت اټکلونو پایله لري چې د حقیقي نړۍ شرایطو ډیر استازیتوب کوي.

د کراس تایید اساسي مفاهیم

د متقابل اعتبار اصل دا دی چې معلومات په څو برخو (پونډو) ویشل کیږي. په هر تکرار کې، ځینې پوښونه د ماډل د روزنې لپاره کارول کیږي، او یو پوښ د ماډل د ازموینې لپاره کارول کیږي. دا پروسه تکرار کیږي تر هغه چې هر پوښ د ازموینې معلوماتو په توګه وکارول شي. بیا د هر تکرار څخه د ارزونې نمرې یوځای کیږي (معمولا د اوسط سره او ځینې وختونه د معیاري انحراف سره هم) ترڅو د ماډل د فعالیت عمومي کتنه چمتو کړي.

د مثال په توګه، د k-fold cross validation سره د k=5، معلومات په 5 فولډونو ویشل شوي دي. لومړی تکرار: 1 د ازموینې په توګه فولډ کړئ، 2-5 د روزنې په توګه فولډ کړئ. دوهم تکرار: 2 د ازموینې په توګه فولډ کړئ، او داسې نور تر 5 فولډ پورې.

د کراس تایید عام ډولونه

۱. د هولډ آوټ تایید (د ټرین-ټیسټ ویش)
که څه هم په تخنیکي توګه "تکرار" کراس تایید نه کیږي، د هولډ آوټ میتود ډیری وختونه د تایید یو بنسټیز ګام ګڼل کیږي. معلومات یو ځل ویشل کیږي، د بیلګې په توګه، 80٪ روزنه او 20٪ ازموینه. ګټه یې دا ده چې دا ګړندی او ساده دی، مګر زیان یې په پایلو کې لوړ توپیر دی ځکه چې دا په یو واحد ویش تکیه کوي.

دا طریقه معمولا هغه وخت کارول کیږي کله چې معلومات خورا لوی وي، نو حتی یوه برخه هم کافي استازیتوب کوي.

۲. د K- فولډ کراس تایید
دا د متقابل اعتبار تر ټولو مشهوره بڼه ده. د k پیرامیټر ډیری وختونه د 5 یا 10 په توګه غوره کیږي ځکه چې دا د محاسبې لګښت او د اټکل کیفیت متوازن کولو لپاره ګڼل کیږي.

زیات:
- د معلوماتو کارول په ډیر اغیزمن ډول (هر معلومات د روزنې او ازموینې برخه ګرځي).
- د فعالیت اټکلونه د هولډ آوټ په پرتله ډیر مستحکم دي.

کمښت:
- ډیر وخت نیسي ځکه چې دا د ماډل k ځله روزنه ورکوي.
– که چیرې معلومات ډېر لوی وي یا ماډل ډېر پیچلی وي، نو د محاسبې لګښتونه لوړ کیدی شي.

۳. د K-فولډ کراس تایید
د طبقه بندي ستونزو لپاره، په ځانګړې توګه که چیرې ټولګي غیر متوازن وي (د مثال په توګه، 90٪ منفي، 10٪ مثبت)، منظم k-fold کولی شي د غیر متناسب ټولګي ویش سره فولډونه تولید کړي. طبقه بندي شوی k-fold ډاډ ورکوي چې په هر فولډ کې د ټولګیو تناسب تقریبا د اصلي معلوماتو کې د ټولګیو تناسب سره ورته دی.

دا په ځانګړي ډول د ناروغیو کشف کولو ماډلونو، درغلۍ، یا نورو قضیو ارزولو کې مهم دی چیرې چې د اقلیت طبقه کوچنۍ وي.

۴. د یو ځل وتلو لپاره د کراس تایید (LOOCV)
په LOOCV کې، د پوښونو شمیر د معلوماتو مقدار سره مساوي دی (k = n). دا پدې مانا ده چې په هر تکرار کې، یوازې یو مشاهده د ازموینې ډاټا کیږي، پداسې حال کې چې پاتې نور د روزنې ډاټا کیږي.

زیات:
- تقریبا ټول معلومات په هر تکرار کې د روزنې لپاره کارول کیږي، نو د اټکل تعصب کوچنی کیدی شي.

کمښت:
- د لویو ډیټاسیټونو لپاره د محاسبې له پلوه خورا ګران.
- د اټکل توپیر په ځینو ډولونو ستونزو کې لوړ کیدی شي ځکه چې د ازموینې سیټ په هر تکرار کې یوازې یو ټکی دی.

LOOCV اکثرا هغه وخت کارول کیږي کله چې ډیر لږ معلومات وي، د بیلګې په توګه د یوې کوچنۍ نمونې اندازې سره څیړنه.

۵. د K-فولډ کراس تایید تکرار
دا طریقه د k-fold څو ځله د مختلفو (تصادفي) فولډ دندو سره تکراروي. هدف دا دی چې په یو واحد فولډ دنده باندې تکیه کمه شي او ډیر باثباته اټکلونه تولید شي.

د مثال په توګه، "۱۰ ځله ۳ ځله تکرار" معنی لري چې ۱۰ ځله ۳ ځله منډه وهل (ټولټال ۳۰ روزنې او ارزونې).

۶. د وخت لړۍ کراس تایید
د وخت لړۍ معلوماتو لپاره، دودیز متقابل اعتبار مناسب نه دی ځکه چې دا کولی شي د روزنې پروسې ته "راتلونکی لیک کړي". د وخت لړۍ کې، لنډمهاله ترتیب باید وساتل شي. له همدې امله، طریقې لکه:
- د کړکۍ ښویدنه/ ښویدنه: په لومړي پړاو کې تمرین وکړئ بیا په راتلونکي دوره کې ازموینه وکړئ، بیا کړکۍ بدلیږي.
- د پراخولو کړکۍ: د روزنې معلومات د وخت په تیریدو سره زیاتیږي، بیا په راتلونکې دوره کې ازمول کیږي.

دا طریقه د میاشتني پلور وړاندوینې، د ونډو نرخونو، یا ریښتیني وخت سینسرونو لپاره اړونده ده.

په متقابل اعتبار کې د ارزونې میټریکونه

متقابل اعتبار یوازې د ارزونې چوکاټ دی؛ کارول شوي معیارونه د ستونزې ډول پورې اړه لري:
- رجعت: MSE، RMSE، MAE، R-مربع.
- طبقه بندي: دقت، دقت، یادونه، F1-نمره، ROC-AUC.
- غیر متوازن طبقه بندي: ROC-AUC، PR-AUC (دقت-یادونه)، متوازن دقت.

د متقابل اعتبار پایلې معمولا د میټریک اوسط او معیاري انحراف په توګه راپور کیږي (د مثال په توګه، دقت 0,89 ± 0,03). معیاري انحراف د ماډل د ثبات په پوهیدو کې مرسته کوي.

د ماډل انتخاب او پیرامیټر ټونینګ لپاره کراس تایید

د کراس تایید کولو یو له اصلي استعمالونو څخه د ماډل انتخاب او هایپر پیرامیټر ټونینګ دی. د مثال په توګه:
- په k-NN کې ​​د k غوره کول.
- د پریکړې ونې کې اعظمي ژوروالی غوره کړئ.
- په ریج/لاسو ریګریشن کې د منظم کولو پیرامیټرې مشخص کړئ.
- په SVM کې C او ګاما مشخص کړئ.

په ښه عمل کې، د روزنې معلوماتو باندې د سمون پروسه د کراس-ویلیډیشن په کارولو سره ترسره کیږي، پداسې حال کې چې د وروستي ازموینې معلومات د وروستي ارزونې لپاره جلا ساتل کیږي. دا د "ډیر خوشبینۍ" مخه نیسي ځکه چې ماډل د ارزونې معلوماتو سره ډیر فټ شوی.

یو ډیر سخت چلند د نیست شوي کراس-ویلایډیشن په نوم یادیږي، کوم چې د کراس-ویلایډیشن دننه کراس-ویلایډیشن دی: بهرنۍ لوپ د ارزونې لپاره دی، داخلي لوپ د ټونینګ لپاره دی. دا په څیړنه کې مشهور دی ځکه چې دا د فعالیت ډیر بې طرفه اټکلونه وړاندې کوي.

د کراس تایید ګټې او محدودیتونه

اصلي ګټې:
۱. د واحد ویش په پرتله د فعالیت ډیر باثباته اټکلونه چمتو کوي.
۲. معلومات په اغیزمنه توګه وکاروئ، په ځانګړې توګه کله چې ډیټاسیټ کوچنی وي.
۳. د یو ډیر عمومي ماډل په غوره کولو کې مرسته کوي او د ډیر فټینګ خطر کموي.

محدودیتونه:
۱. د روزنې څو ځله تکرارېدو سره محاسباتي لګښتونه زیاتیږي.
۲. که چیرې مخکې له مخکې پروسس په سمه توګه ترسره نشي، د معلوماتو لیکیدل بیا هم واقع کیدی شي.
۳. د ګروپ شوي معلوماتو لپاره (د مثال په توګه، د ناروغانو معلومات چې څو ریکارډونه لري)، یو ځانګړي میتود ته اړتیا ده، لکه د ګروپ k-fold، ترڅو یو فرد په ورته وخت کې په ټرین او ازموینه کې راڅرګند نشي.

د متقابل اعتبار کارولو په برخه کې ښه عملونه

د دې لپاره چې ارزونه د اعتبار وړ وي، څو مهم اصول باید تعقیب شي:
- د هر فولډ دننه مخکې له مخکې پروسس کول (نورمال کول، تور لګول، د ځانګړتیا انتخاب) ترسره کړئ، نه د ټولو معلوماتو لپاره یو ځل. که نه نو، د ازموینې فولډ څخه معلومات کولی شي د ریل فولډ ته لیک شي.
- د غیر متوازنو ټولګیو سره د طبقه بندي لپاره طبقه بندي شوي k-fold وکاروئ.
- د وخت لړۍ معلوماتو لپاره یو ځانګړی سکیم وکاروئ ترڅو امر سرغړونه ونشي.
- که ستاسو هدف د پلي کولو دمخه د ماډل وروستي فعالیت ارزونه وي، نو د ازموینې وروستۍ سیټ یوې خوا ته پریږدئ.

تړل

کراس-تصدیق د تطبیقي احصایو او ماشین زده کړې کې یو بنسټیز وسیله ده ترڅو د ماډل فعالیت په ډیر عادلانه او قوي ډول ارزونه وکړي. د بار بار معلوماتو شریکولو په کارولو سره، کراس-تصدیق د ټرین-ټیسټ سپلایټ انتخاب له امله رامینځته شوي تعصب کمولو کې مرسته کوي، ډیر فټینګ کشف کوي، او د ماډل انتخاب او هایپرپیرامیټر ټونینګ ملاتړ کوي. پداسې حال کې چې د محاسبې لګښت لوړ دی، ګټې ډیری وختونه د ارزښت وړ دي، په ځانګړې توګه کله چې ډیټاسیټ کوچنی وي یا کله چې د ماډل پایلو پراساس پریکړې د پام وړ پایلې ولري. د کراس-تصدیق د سم ډول غوره کولو او غوره کړنو پلي کولو سره، موږ کولی شو ډیر باوري ماډلونه جوړ کړو چې د ریښتینې نړۍ معلوماتو کې د کارولو لپاره چمتو دي.