Statistikada Cekknife Metodu
Bıçaq metodu, xüsusən də qiymətləndirmənin qeyri-müəyyənliyini ölçmək üçün statistikada vacib bir yenidən nümunə götürmə texnikasıdır. Bıçaq tez-tez qiymətləndiricinin qərəzini və dispersiyasını qiymətləndirmək, eləcə də standart xəta kimi dəqiqlik ölçülərini qurmaq üçün istifadə olunur. Bu texnika nisbətən sadədir, həddindən artıq sərt paylanma fərziyyələri tələb etmir və klassik statistikadan müasir məlumat təhlilinə qədər geniş problemlərə tətbiq oluna bilər.
Arxa plan və əsas fikirlər
Bıçaq Moris Kvenuy tərəfindən təqdim edilmiş və daha sonra Con Tuki tərəfindən populyarlaşdırılmışdır. "Bıçaq" adı çoxfunksiyalı cib bıçağından ilhamlanıb, çünki metod çevikdir və müxtəlif kontekstlərdə istifadə edilə bilər. Əsas fikir budur: əgər n ölçülü bir nümunəmiz varsa, hər dəfə bir müşahidəni silməklə bir neçə "saxta nümunə" yaradırıq və sonra hər nümunədəki qiymətləndiricini yenidən hesablayırıq. Bir müşahidə silindikdə qiymətləndiricinin necə dəyişdiyini müşahidə etməklə, məlumatların dəyişməsinə nisbətən qiymətləndiricinin sabitliyi barədə məlumat əldə edirik.
Məsələn, tutaq ki, \(x_1, x_2, \dots, x_n\) məlumatlarımız var və \(\hat{\theta}=t(x_1,\dots,x_n)\) qiymətləndiricisindən istifadə edərək \(\theta\) parametrini qiymətləndirmək istəyirik. Jackknife-də, \(n-1\) ölçülü n alt nümunə, yəni \(x_i\)-ni silən \(i\)-ci alt nümunə yaradırıq. Sonra hesablayırıq:
\[
\hat{\theta}_{(i)} = t(x_1,\dots,x_{i-1},x_{i+1},\dots,x_n)
\]
\(\hat{\theta}_{(i)}\) dəyəri bir çıxılmalı qiymətləndirmə adlanır.
Cekknife metodunun addımları
Prosedur baxımından, bıçaq aşağıdakı addımlarla izah edilə bilər:
1. Tam məlumatlar əsasında qiymətləndiricini hesablayın
Bütün nümunə üzrə \(\hat{\theta}\) hesablayın.
2. Bir nümunəni kənarda saxlamaq üçün n alt nümunə yaradın
Hər bir \(i = 1,2,\dots,n\) üçün \(x_i\) müşahidəsini çıxarın və \(\hat{\theta}_{(i)}\) qiymətləndiricisini hesablayın.
3. Bıçaq qiymətləndiricisinin ortalamasını hesablayın
Orta hesabla bir dəfə buraxılma:
\[
\bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)}
\]
4. Dispersiyanı (və ya standart xətanı) qiymətləndirin
Bıçaq dəyişkənliyi adətən hesablanır ilə:
\[
\widehat{\mathrm{Var}}_{J}(\hat{\theta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\theta}_{(i)} – \bar{\theta}_{(\cdot)}\right)^2
\]
Standart xəta dispersiyanın kvadrat köküdür.
5. Qərəzliliyin qiymətləndirilməsi və qərəzliliyin korreksiyası (isteğe bağlı)
Jackknife həmçinin qərəzi aşağıdakı yollarla qiymətləndirə bilər:
\[
\widehat{\mathrm{Bias}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_{(\cdot)} – \hat{\theta}\sağ)
\]
Qeyri-müəyyənlik korreksiyası aşağıdakılarla edilə bilər:
\[
\hat{\theta}_{J} = \hat{\theta} – \widehat{\mathrm{Bias}}_{J}(\hat{\theta})
\]
Şərh: əgər bir çıxılan orta qiymət tam qiymətləndiricidən sistematik şəkildə fərqlənirsə, düzəldilə bilən qərəzlilik əlaməti var.
Intuitiv nümunə: nümunə ortalaması
Bıçağı intuitiv şəkildə başa düşmək üçün nümunə orta qiymətləndiricisini nəzərdən keçirin:
\[
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i
\]
Bir müşahidəni çıxarsaq, orta qiymət belə olur:
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
Orta qiymətlər halında, bıçaq böyük bir "sürpriz" yaratmır, çünki orta qiymət sabitdir və qərəz kiçikdir (bir çox kontekstdə). Lakin, median, müəyyən bir reqressiya əmsalı, korrelyasiya və ya qeyri-xətti statistika kimi daha mürəkkəb qiymətləndiricilər üçün tək bir məlumat nöqtəsinin silinməsindən yaranan dəyişiklik qiymətləndiricinin həssaslığını aşkar edə və onun standart xətasının faydalı qiymətləndirilməsini yarada bilər.
Yalançı dəyər: bıçaqda vacib bir anlayış
Bəzi müzakirələrdə, jackknife hər müşahidə üçün yalançı bir dəyər təqdim edir:
\[
\theta_i^{ } = n\hat{\theta} – (n-1)\hat{\theta}_{(i)}
\]
Onda bıçaq qiymətləndiricisi psevdodəyərlərin ortalaması kimi yazıla bilər:
\[
\hat{\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ }
\]
Psevdodəyər yanaşması hər bir müşahidənin son qiymətləndirməyə necə "töhfə verdiyini" izah etməyə və qərəzli təhlili asanlaşdırmağa kömək edir.
Jacknife və bootstrap arasındakı əlaqə
Hər ikisi də yenidən nümunə götürmə metodları olduğundan, Jackknife tez-tez bootstrap ilə müqayisə olunur. Bununla belə, vacib fərqlər var:
– Jackknife, bir məlumatı silməklə (bir məlumatı kənarda saxlamaqla) alt nümunə götürmə üsulundan istifadə edir. Replikasiyaların sayı deterministikdir: tam olaraq n.
– Bootstrapping, adətən dəfələrlə (məsələn, 1000 və ya 10.000 dəfə) əvəzləmə ilə yenidən nümunə yaradır və beləliklə, qiymətləndiricinin empirik paylanmasının qiymətləndirilməsini təmin edir.
Ümumiyyətlə, bootstrap daha çevik və mürəkkəb problemlər üçün daha dəqiqdir, lakin dayaq bıçağı daha sadə və hesablama baxımından daha ucuzdur. Böyük məlumat dəstlərində dayaq bıçağı, xüsusən də qiymətləndiricinin hesablanması bahalı, lakin yenə də n dəfə mümkün olduqda, kobud standart səhvlər əldə etmək üçün sürətli alternativ ola bilər.
Bıçaq üsulunun üstünlükləri
Cek bıçağının bəzi üstünlükləri aşağıdakılardır:
1. Sadə və tətbiqi asandır
Biri kənarda qalma konsepsiyası intuitivdir və variasiya düsturu sadədir.
2. Paylanma ilə bağlı bir neçə fərziyyə
Cek bıçağı həmişə normallıq və ya paylama forması müəyyəndir.
3. Müəyyən hesablamalar üçün səmərəlidir
Cekknife hesablamalarının yalnız n dəfəsini tələb etdiyindən, minlərlə təkrarlama tələb edən bootstrapping-dən daha yüngüldür.
4. Qərəzliliyin qiymətləndirilməsi üçün faydalıdır
Xüsusilə analitik olaraq hesablanması asan olmayan qeyri-xətti qiymətləndiricilərdə.
Məhdudiyyətlər və diqqət yetirilməli məqamlar
Güclü olmasına baxmayaraq, cək bıçağının məhdudiyyətləri var:
1. Çox qeyri-rəvan qiymətləndiricilər üçün daha az dəqiqdir
Məsələn, bəzi şərtlərdə median və ya kvantillər, yaxud ekstremal dəyərlərdən asılı olan statistika kimi, bıçaq bəzən daha az dəqiq dispersiya qiymətləndirmələri verir.
2. Asılılıqları olan məlumatlar üçün həmişə uyğun deyil
Zaman seriyalarında və ya məkan məlumatlarında müşahidələr müstəqil deyil. Tək bir nöqtənin silinməsi asılılıq strukturunu poza bilər. Bu kimi hallar üçün blok bıçağı (bir anda bir məlumat blokunun silinməsi) kimi variasiyalardan istifadə olunur.
3. Yüksək təsirli müşahidələrə həssasdır
Əgər kənar göstəricilər və ya "leverage" məlumatları varsa, bir kənara qoyulmuş qiymətləndirmə kəskin şəkildə dəyişə bilər. Bu, həmişə zəiflik deyil - əslində, vacib bir siqnal ola bilər - lakin nəticədə yaranan variasiya böyük ola bilər və diqqətli şərh tələb edir.
4. Çox böyük n-də miqyaslanma
Bootstrapping-dən daha ucuz olsa da, jackknife yenə də n qiymətləndirici qiymətləndirmələrini tələb edir. Əgər n milyonlarladırsa və qiymətləndiricilər bahadırsa, bu problemli ola bilər.
Variasiyalar: delete-d jackknife və block jackknife
Birini kənarda qoymaqdan əlavə, dəyişikliklər də mövcuddur:
– Delete-d jacknife: hər replikasiya üçün d müşahidəni silir (yalnız 1 əvəzinə). Bu, müəyyən hallarda, xüsusən də qeyri-rəvan qiymətləndiricilər üçün dəqiqliyi artıra bilər.
– Blok bıçağı: avtokorrelyasiyaya malik məlumatlar (məsələn, gündəlik, həftəlik və ya məkan məlumatları) üçün uyğun olan bir neçə bitişik müşahidəni ehtiva edən bloku silir.
d və ya blok ölçüsünün seçimi məlumat strukturundan və nəticə çıxarma məqsədindən asılıdır.
Bıçağın praktikada tətbiqi
Cek bıçağı müxtəlif sahələrdə istifadə olunur:
– Biostatistika və epidemiologiya: analitik düsturlar çətin olduqda risk ölçüləri və ya model parametrləri üçün standart səhvlərin qiymətləndirilməsi.
– Ekonometrika: parametr sabitliyinin qiymətləndirilməsi, xüsusən də məhdud nümunələrdə.
– Kompüter elmləri və maşın öyrənməsi: məqsədlər fərqli olsa da (proqnozlaşdırmanın təsdiqlənməsi və parametr dəqiqliyinin qiymətləndirilməsi), bir kənara qoyma konsepsiyası çarpaz təsdiqləmə ilə sıx bağlıdır.
– Ekologiya və tədqiqatlar: müxtəlifliyin və ya müəyyən indekslərin qiymətləndirilməsi və mürəkkəb statistikanın qeyri-müəyyənliyi.
Bağlanır
Cek bıçağı metodu bu gün də aktuallığını qoruyan klassik yenidən nümunə götürmə texnikasıdır. Sadə bir ideyadan istifadə etməklə - bir müşahidəni buraxmaqla və qiymətləndiricini yenidən hesablamaqla - cek bıçağı mürəkkəb riyazi hesablamalar olmadan dispersiya, standart səhv və qərəzlilik qiymətləndirmələrini təmin edə bilər. Lakin, onun istifadəsi qiymətləndiricinin təbiətini, nümunə ölçüsünü və məlumatların asılılıq strukturunu nəzərə almağı tələb edir. Praktikada, cek bıçağı tez-tez sürətli və şəffaf bir seçimdir və ya bootstrapping kimi daha möhkəm yenidən nümunə götürmə metodlarından istifadəyə əlavə olaraq istifadə olunur.
İstəsəniz, tətbiqi aydınlaşdırmaq üçün kiçik bir ədədi hesablama nümunəsi (məsələn, korrelyasiya və ya reqressiya üçün) əlavə edə və ya R/Python-da bir jacknife tətbiqini əlavə edə bilərəm.
