Jackknife aðferðin í tölfræði
Hnífsaðferðin er mikilvæg endurúrtaksaðferð í tölfræði, sérstaklega til að mæla óvissu í mati. Hnífsaðferðin er oft notuð til að meta skekkju og dreifni mats, sem og til að smíða nákvæmar mælikvarða eins og staðalvillu. Þessi aðferð er tiltölulega einföld, krefst ekki of strangra dreifingarforsendna og hægt er að beita henni á fjölbreytt vandamál, allt frá klassískri tölfræði til nútíma gagnagreiningar.
Bakgrunnur og grunnhugmyndir
Maurice Quenouille kynnti vasahnífinn til sögunnar og John Tukey gerði hann síðar vinsælan. Nafnið „vasahnífur“ er innblásið af fjölhæfum vasahníf, þar sem aðferðin er sveigjanleg og hægt er að nota hana í ýmsum samhengjum. Grunnhugmyndin er þessi: ef við höfum úrtak af stærð n, búum við til nokkur „brjálæðisúrtök“ með því að fjarlægja eina athugun í hvert skipti og reiknum síðan áætlunina upp á nýtt fyrir hvert úrtak. Með því að fylgjast með hvernig áætlunin breytist þegar ein athugun er fjarlægð, fáum við innsýn í stöðugleika áætlunarinnar gagnvart breytingum í gögnunum.
Til dæmis, gerum ráð fyrir að við höfum gögnin \(x_1, x_2, \dots, x_n\) og viljum meta breytu \(\theta\) með því að nota áætlunina \( \hat{\theta}=t(x_1, \dots,x_n)\). Í jackknife myndum við n undirúrtök af stærð \(n-1\), þ.e. \(i\)ta undirúrtakið sem eyðir \(x_i\). Síðan reiknum við:
\[
\(í) = t(x_1,\punktar,x_{i-1},x_{i+1},\punktar,x_n)
\]
Gildið \(\hat{\theta}_{(i)}\) er kallað mat á því að sleppa einu.
Skref fyrir skref í Jackknife aðferðinni
Aðferðafræðilega má útskýra jackknife í eftirfarandi skrefum:
1. Reiknaðu áætlunina út frá öllum gögnunum
Reiknið \(\hat{\theta}\) yfir allt sýnið.
2. Búðu til n undirúrtök þar sem eitt er sleppt
Fyrir hvert \(i = 1,2,\dots,n\), fjarlægðu athugunina \(x_i\) og reiknaðu áætlunina \(\hat{\theta}_{(i)}\).
3. Reiknaðu meðaltal hnífsáætlunarinnar
Meðaltal slepptu einu út:
\[
\bar{\theta}_{(\cdot)} = \frac{1}{n}\sum_{i=1}^n \hat{\theta}_{(i)}
\]
4. Áætla dreifni (eða staðalvillu)
Dreifni hnífsins er venjulega reiknuð með:
\[
\widehat{\mathrm{Var}}_{J}(\hat{\heta}) = \frac{n-1}{n}\sum_{i=1}^n \left(\hat{\heta}_{(i)} – \bar{\heta}_{(\cdot)}\right)^2
\]
Staðalfrávikið er kvaðratrót dreifnisins.
5. Skekkjumat og skekkjuleiðrétting (valfrjálst)
Jackknife getur einnig metið skekkju með:
\[
\widehat{\mathrm{Hlutdrægni}}_{J}(\hat{\theta}) = (n-1)\left(\bar{\theta}_{(\cdot)} – \hat{\theta}\right)
\]
Hægt er að leiðrétta skekkju með því að:
\[
\hat{\theta}_{J} = \hat{\theta} – \widehat{\mathrm{Hlutdrægni}}_{J}(\hat{\theta})
\]
Túlkun: ef meðaltalið þar sem einn er sleppt er kerfisbundið frábrugðið heildaráætluninni, þá eru vísbendingar um skekkju sem hægt er að leiðrétta.
Innsæislegt dæmi: meðaltal úrtaks
Til að skilja hnífinn innsæislega skaltu skoða meðaltalsmat úrtaksins:
\[
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i
\]
Ef við fjarlægjum eina athugun \(x_i\), þá verður meðaltalið:
\[
\hat{\mu}_{(i)} = \frac{1}{n-1}\sum_{j\ne i} x_j
\]
Þegar um meðaltöl er að ræða kemur vísirinn ekki á óvart því meðaltalið er stöðugt og skekkjan lítil (í mörgum samhengjum). Hins vegar, fyrir flóknari áætlunargerðir - eins og miðgildið, ákveðinn aðhvarfsstuðul, fylgni eða ólínulega tölfræði - getur breytingin sem hlýst af því að fjarlægja einn gagnapunkt leitt í ljós næmi áætlunarinnar og gefið gagnlegt mat á staðalvillu hennar.
Gervigildi: mikilvægt hugtak í hnífsgreiningu
Í sumum umræðum kynnir jackknife gervigildi fyrir hverja athugun:
\[
∫_i^{ } = n∫(heta} – (n-1)∫_{(i)}
\]
Þá er hægt að skrifa áætlunarhnífsins sem meðaltal gervigilda:
\[
\hat{\theta}_{J} = \frac{1}{n}\sum_{i=1}^n \theta_i^{ }
\]
Gervigildisaðferðin hjálpar til við að útskýra hvernig hver athugun „leggur sitt af mörkum“ til lokamatsins og auðveldar greiningu á skekkju.
Tengslin milli jackknife og bootstrap
Jackknife er oft borið saman við bootstrap, þar sem báðar eru endurúrtaksaðferðir. Hins vegar eru mikilvægir munir á þeim:
– Jackknife notar undirúrtak með því að fjarlægja eitt gögn (sleppa einu). Fjöldi endurtekninga er ákvarðandi: nákvæmlega n.
– Bootstrapping býr til endurúrtak með endurnýjun, venjulega oft (t.d. 1000 eða 10.000 sinnum), og gefur þannig mat á empirískri dreifingu áætlunarinnar.
Almennt séð er ræsihnífurinn sveigjanlegri og oft nákvæmari fyrir flókin vandamál, en léttihnífurinn er einfaldari og reiknilega ódýrari. Í stórum gagnasöfnum getur léttihnífurinn verið fljótlegur valkostur til að fá grófa staðalvillu, sérstaklega þegar útreikningur á áætluninni er dýr en samt framkvæmanlegur n sinnum.
Kostir hnífsaðferðarinnar
Sumir af kostum hnífs eru meðal annars:
1. Einfalt og auðvelt í framkvæmd
Hugmyndin um að sleppa einum er innsæi og fráviksformúlan er einföld.
2. Fáar forsendur um dreifingu
Jackknife krefst ekki alltaf þess að gengið sé út frá normalgildi eða ákveðinni dreifingarlögun.
3. Skilvirkt fyrir ákveðnar útreikningar
Þar sem það þarf aðeins n sinnum af matsútreikningum, er jackknife oft léttari en bootstrapping sem krefst þúsunda endurtekninga.
4. Gagnlegt til að meta skekkju
Sérstaklega í ólínulegum matsgreinum sem eru venjulega ekki auðveldir í útreikningum með greiningum.
Takmarkanir og atriði sem þarf að hafa í huga
Þótt hnífurinn sé öflugur hefur hann takmarkanir:
1. Ónákvæmara fyrir mjög ójafna matsmenn
Til dæmis, miðgildi eða fjórðungstölur við sumar aðstæður, eða tölfræði sem er háð öfgagildum, þá gefur hnífurinn stundum ónákvæmari mat á dreifni.
2. Ekki alltaf hentugt fyrir gögn með ósjálfstæði
Í tímaröðum eða rúmfræðilegum gögnum eru athuganir ekki óháðar. Að fjarlægja einn punkt getur rofið tengslamyndunina. Í slíkum tilfellum eru notaðar afbrigði eins og „block jackknife“ (að fjarlægja einn gagnablokk í einu).
3. Viðkvæm fyrir athugunum sem hafa mikil áhrif
Ef útlægir þættir eða „skuldsett“ gögn eru til staðar getur matið á „slepptu einu“ breyst verulega. Þetta er ekki alltaf veikleiki – reyndar getur það verið mikilvægt merki – en frávikið sem af því hlýst getur verið mikið og krefst vandlegrar túlkunar.
4. Stærðhæfni við mjög stórt n
Þótt ódýrara sé en að nota „bootstrapping“ þá krefst „jackknife“ samt mats með n áætlunarbúnaði. Ef n er í milljónum og áætlunarbúnaðir eru dýrir getur þetta verið vandasamt.
Afbrigði: eyðingarhnífur og blokkhnífur
Auk þess að sleppa einu eru til afbrigði:
– Eyða-d jackknife: eyðir d athugunum í hverri endurtekningu (í staðinn fyrir aðeins 1). Þetta getur bætt nákvæmni í ákveðnum aðstæðum, sérstaklega fyrir matsmenn sem nota ekki sléttar mælingar.
– Blokkhnífur: fjarlægir blokk sem inniheldur nokkrar aðliggjandi athuganir, hentugt fyrir gögn sem hafa sjálffylgni (t.d. dagleg, vikuleg eða rúmfræðileg gögn).
Val á d eða blokkastærð fer eftir gagnauppbyggingu og ályktunarmarkmiði.
Notkun hnífs í reynd
Jackknife er notað á ýmsum sviðum:
– Líftölfræði og faraldsfræði: mat á staðalvillum fyrir áhættumælingar eða líkanbreytur þegar greiningarformúlur eru erfiðar.
– Hagfræði: mat á stöðugleika breyta, sérstaklega í takmörkuðum úrtökum.
– Tölvunarfræði og vélanám: hugmyndin um að sleppa einu er nátengd krossprófun, þó að markmiðin séu önnur (spáprófun á móti nákvæmnismati á breytum).
– Vistfræði og kannanir: mat á fjölbreytileika eða ákveðnum vísitölum og óvissa flókinna tölfræðiupplýsinga.
Lokun
Hnífaaðferðin er klassísk endurúrtaksaðferð sem er enn viðeigandi í dag. Með því að nota einfalda hugmynd - að sleppa einni athugun og endurreikna áætlunina - getur hnífurinn gefið mat á dreifni, staðalvillu og skekkju án flókinna stærðfræðilegra útreikninga. Notkun hennar krefst þó þess að tekið sé tillit til eðlis áætlunarinnar, úrtaksstærðar og tengslamyndunar gagnanna. Í reynd er hnífurinn oft fljótlegur og gagnsær kostur, eða viðbót við notkun á öflugri endurúrtaksaðferðum eins og bootstrapping.
Ef þú vilt get ég líka bætt við litlu dæmi um tölulega útreikninga (t.d. fyrir fylgni eða aðhvarfsgreiningu) eða sett inn jackknife útfærslu í R/Python til að skýra notkunina.
