Statistikada Jackknife usuli
Jacknife usuli statistikada, ayniqsa, taxminning noaniqligini o'lchash uchun muhim qayta namunalash usuli hisoblanadi. Jacknife ko'pincha baholovchining tarafkashligi va dispersiyasini baholash, shuningdek, standart xato kabi aniqlik o'lchovlarini yaratish uchun ishlatiladi. Bu usul nisbatan sodda, juda qattiq taqsimot taxminlarini talab qilmaydi va klassik statistikadan tortib zamonaviy ma'lumotlar tahliligacha bo'lgan keng ko'lamli muammolarga qo'llanilishi mumkin.
Tarix va asosiy g'oyalar
Pichoq Moris Kyonuy tomonidan taqdim etilgan va keyinchalik Jon Tuki tomonidan ommalashtirilgan. "Pichoq" nomi ko'p qirrali cho'ntak pichog'idan ilhomlangan, chunki usul moslashuvchan va turli kontekstlarda ishlatilishi mumkin. Asosiy g'oya quyidagicha: agar bizda n o'lchamdagi namuna bo'lsa, har safar bitta kuzatuvni olib tashlash orqali bir nechta "qo'g'irchoq namunalar" yaratamiz va keyin har bir namunadagi baholovchini qayta hisoblaymiz. Bitta kuzatuv olib tashlanganda baholovchi qanday o'zgarishini kuzatish orqali biz baholovchining ma'lumotlardagi o'zgarishlarga nisbatan barqarorligi haqida tushunchaga ega bo'lamiz.
Masalan, bizda \(x_1, x_2, \dots, x_n\) ma'lumotlari bor va \(\hat{\theta}=t(x_1,\dots,x_n)\) baholovchisidan foydalanib \(\theta\) parametrini baholamoqchimiz deylik. Jackknifeda biz \(n-1\) o'lchamdagi n ta kichik namunalarni, ya'ni \(x_i\)ni o'chiradigan \(i\)-chi kichik namunani hosil qilamiz. Keyin quyidagilarni hisoblaymiz:
\[
\hat{\theta}_{(i)} = t(x_1,\dots,x_{i-1},x_{i+1},\dots,x_n)
\]
\(\hat{\theta}_{(i)}\) qiymati bitta qiymatni qoldirib ketish bahosi deb ataladi.
Jackknife usuli bosqichlari
Jarayon jihatidan, pichoqni quyidagi bosqichlarda tushuntirish mumkin:
1. To'liq ma'lumotlar asosida baholovchini hisoblang
Butun namuna bo'yicha \(\hat{\theta}\) ni hisoblang.
2. Bir marta qoldirib ketiladigan n ta kichik namunalarni yarating
Har bir \(i = 1,2,\dots,n\) uchun \(x_i\) kuzatuvini olib tashlang va \(\hat{\theta}_{(i)}\) baholovchisini hisoblang.
3. Jackknife baholovchisining o'rtacha qiymatini hisoblang
O'rtacha bitta qoldirish:
\[
$ \ bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)} $$
\]
4. Dispersiyani (yoki standart xatoni) baholang
Pichoq dispersiyasi odatda quyidagicha hisoblanadi:
\[
$ \widehat{\mathrm{Var}}_{J}(\hat{\theta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\theta}_{(i)} – \bar{\theta}_{(\cdot)}\right)^2 $$
\]
Standart xato dispersiyaning kvadrat ildizidir.
5. Tarafkashlikni baholash va tarafkashlikni tuzatish (ixtiyoriy)
Jackknife shuningdek, quyidagi usullar orqali tarafkashlikni baholashi mumkin:
\[
\widehat{\mathrm{Bias}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_ {(\cdot)} - \hat{\theta}\o'ng)
\]
Nosozlikni tuzatish quyidagi yo'llar bilan amalga oshirilishi mumkin:
\[
\hat{\theta}_{J} = \hat{\theta} - \widehat{\mathrm{Bias}}_{J}(\hat{\theta})
\]
Talqin: agar bittadan tashqari o'rtacha qiymat to'liq baholovchidan tizimli ravishda farq qilsa, tuzatilishi mumkin bo'lgan tarafkashlik belgisi mavjud.
Intuitiv misol: namunaviy o'rtacha qiymat
Pichoqni intuitiv ravishda tushunish uchun namunaviy o'rtacha baholovchini ko'rib chiqing:
\[
$ \hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i $$
\]
Agar bitta kuzatuvni olib tashlasak, o'rtacha qiymat quyidagicha bo'ladi:
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
O'rtacha qiymatlar holatida, pichoq katta "syurpriz" bermaydi, chunki o'rtacha qiymat barqaror va tarafkashlik kichik (ko'p hollarda). Biroq, mediana, ma'lum bir regressiya koeffitsienti, korrelyatsiya yoki chiziqli bo'lmagan statistika kabi murakkabroq baholovchilar uchun bitta ma'lumot nuqtasini olib tashlash natijasida yuzaga keladigan o'zgarish baholovchining sezgirligini ochib berishi va uning standart xatosining foydali bahosini berishi mumkin.
Soxta qiymat: pichoqdagi muhim tushuncha
Ba'zi munozaralarda, jackknife har bir kuzatuv uchun soxta qiymatni kiritadi:
\[
\theta_i^{ } = n\hat{\theta} – (n-1)\hat{\theta}_{(i)}
\]
Keyin pichoq baholovchisini soxta qiymatlarning o'rtacha qiymati sifatida yozish mumkin:
\[
$\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ } $$
\]
Pseudovalue yondashuvi har bir kuzatuvning yakuniy bahoga qanday "hissa qo'shishini" tushuntirishga yordam beradi va tarafkashlik tahlilini osonlashtiradi.
Jackknife va bootstrap o'rtasidagi munosabatlar
Jackknife ko'pincha bootstrap bilan taqqoslanadi, chunki ikkalasi ham qayta namunalash usullari. Biroq, muhim farqlar mavjud:
– Jackknife bitta ma'lumotni olib tashlash (bittasini qoldirib) orqali subnamunalashdan foydalanadi. Replikatsiyalar soni deterministik: aniq n.
– Bootstrapping odatda ko'p marta (masalan, 1000 yoki 10 000 marta) almashtirish bilan qayta namunani yaratadi va shu bilan baholovchining empirik taqsimotini baholaydi.
Umuman olganda, yuklash moslamasi murakkabroq muammolar uchun moslashuvchanroq va ko'pincha aniqroq, ammo pichoq sodda va hisoblash jihatidan arzonroq. Katta ma'lumotlar to'plamlarida pichoq qo'pol standart xatolarni olish uchun tezkor alternativa bo'lishi mumkin, ayniqsa baholovchini hisoblash qimmat bo'lsa-da, baribir n marta amalga oshirish mumkin bo'lsa.
Jacknife usulining afzalliklari
Jackknife-ning ba'zi afzalliklari quyidagilarni o'z ichiga oladi:
1. Oddiy va amalga oshirish oson
Bir marta tashlab ketish konsepsiyasi intuitiv va dispersiya formulasi sodda.
2. Tarqatish haqidagi taxminlarning kamligi
Jackknife har doim ham normallik yoki ma'lum bir taqsimot shaklini taxmin qilishni talab qilmaydi.
3. Muayyan hisob-kitoblar uchun samarali
Chunki u faqat n marta taxminiy hisob-kitoblarni talab qiladi, jackknife ko'pincha minglab replikatsiyalarni talab qiladigan bootstrappingga qaraganda yengilroq.
4. Tarafkashlikni baholash uchun foydali
Ayniqsa, odatda analitik hisoblash oson bo'lmagan chiziqli bo'lmagan baholovchilarda.
Cheklovlar va e'tiborga olish kerak bo'lgan narsalar
Kuchli bo'lishiga qaramay, pichoqning kamchiliklari bor:
1. Juda notekis baholovchilar uchun aniqligi pastroq
Masalan, ba'zi sharoitlarda mediana yoki kvantillar yoki ekstremal qiymatlarga bog'liq bo'lgan statistika, jackknife ba'zan dispersiyaning aniqroq bo'lmagan taxminlarini beradi.
2. Bog'liqliklarga ega ma'lumotlar uchun har doim ham mos emas
Vaqt qatorlarida yoki fazoviy ma'lumotlarda kuzatishlar mustaqil emas. Bitta nuqtani olib tashlash bog'liqlik tuzilishini buzishi mumkin. Bunday holatlar uchun blokli pichoq (bir vaqtning o'zida bitta ma'lumot blokini olib tashlash) kabi variantlar qo'llaniladi.
3. Yuqori ta'sirli kuzatuvlarga sezgir
Agar chetga chiqishlar yoki "leverage" ma'lumotlar mavjud bo'lsa, bitta qoldirib ketish bahosi keskin o'zgarishi mumkin. Bu har doim ham zaiflik emas - aslida bu muhim signal bo'lishi mumkin - ammo natijada paydo bo'ladigan o'zgarish katta bo'lishi mumkin va ehtiyotkorlik bilan talqin qilishni talab qiladi.
4. Juda katta n da masshtablanish
Bootstrappingdan arzonroq bo'lsa-da, jackknife hali ham n baholovchi baholashni talab qiladi. Agar n millionlab bo'lsa va baholovchilar qimmat bo'lsa, bu muammoli bo'lishi mumkin.
Variantlar: delete-d jackknife va block jackknife
Bittasini qoldirishdan tashqari, quyidagi o'zgarishlar mavjud:
– Delete-d jackknife: har bir replikatsiya uchun d ta kuzatuvni o'chiradi (faqat 1 ta o'rniga). Bu muayyan vaziyatlarda, ayniqsa, notekis baholovchilar uchun aniqlikni oshirishi mumkin.
– Blok pichoq: avtokorrelyatsiyaga ega ma'lumotlar (masalan, kunlik, haftalik yoki fazoviy ma'lumotlar) uchun mos keladigan bir nechta qo'shni kuzatuvlarni o'z ichiga olgan blokni olib tashlaydi.
d yoki blok hajmini tanlash ma'lumotlar tuzilishiga va xulosa chiqarish maqsadiga bog'liq.
Jacknife amaliyotida qo'llanilishi
Jackknife turli sohalarda qo'llaniladi:
– Biostatistika va epidemiologiya: analitik formulalar qiyin bo'lgan hollarda xavf o'lchovlari yoki model parametrlari uchun standart xatolarni baholash.
– Ekonometrika: parametrlar barqarorligini baholash, ayniqsa cheklangan namunalarda.
– Informatika va mashinani o'rganish: bittasini qoldirish konsepsiyasi o'zaro tasdiqlash bilan chambarchas bog'liq, garchi maqsadlar har xil bo'lsa ham (bashoratni tasdiqlash va parametr aniqligini baholash).
– Ekologiya va tadqiqotlar: xilma-xillikni yoki ma'lum indekslarni baholash va murakkab statistikaning noaniqligi.
Yopish
Jacknife usuli bugungi kunda ham dolzarb bo'lib qoladigan klassik qayta namunalash usuli hisoblanadi. Oddiy g'oyadan foydalanib - bitta kuzatuvni qoldirib va baholovchini qayta hisoblash orqali - jacknife murakkab matematik hisob-kitoblarsiz dispersiya, standart xato va tarafkashlik baholarini taqdim etishi mumkin. Biroq, uni qo'llash baholovchining tabiati, namuna hajmi va ma'lumotlarning bog'liqlik tuzilishini hisobga olishni talab qiladi. Amalda, jacknife ko'pincha tez va shaffof variant yoki bootstrapping kabi yanada mustahkam qayta namunalash usullaridan foydalanishga qo'shimcha hisoblanadi.
Agar xohlasangiz, men kichik raqamli hisoblash misolini ham qo'shishim mumkin (masalan, korrelyatsiya yoki regressiya uchun) yoki qo'llanilishini aniqlashtirish uchun R/Pythonda jackknife implementatsiyasini qo'shishim mumkin.
