Fomba Fanombanana ao amin'ny Statistika
Ao amin'ny fampiharana ny statistika sy ny famakafakana angon-drakitra, saika mipoitra foana ny olana momba ny angon-drakitra tsy hita. Mety ho very ny angon-drakitra noho ny tsy famalian'ny mpamaly fanontaniana sasany, ny lesoka amin'ny fandraketana, ny fitsabahan'ny sensor, ny fahasimban'ny angon-drakitra mandritra ny fitrandrahana, na noho ny dingan'ny fampifangaroana loharanon-drakitra maromaro izay tsy mifanaraka tanteraka. Raha tsy voakarakara tsara, ny angon-drakitra tsy hita dia mety hanimba ny kalitaon'ny famakafakana , hampihena ny herin'ny fitsapana, ary hitarika amin'ny famaranana mitongilana mihitsy aza. Ny iray amin'ireo fomba mahazatra indrindra amin'ny fikirakirana ny angon-drakitra tsy hita dia ny imputation, izay ahitana ny famenoana ny sanda tsy hita amin'ny sanda tombanana mifototra amin'ny fampahalalana misy.
Nahoana no zava-dehibe ny fampitahana?
Misy antony maromaro mahatonga ny famintinana matetika no safidy kokoa noho ny famafana fotsiny ny angon-drakitra tsy hita. Voalohany, ny famafana andalana/fandinihana misy sanda tsy hita (ohatra, ny famafana araka ny lisitra) dia mety hampihena be ny haben'ny santionany, indrindra rehefa manan-danja ny isan-jaton'ny angon-drakitra tsy hita. Faharoa, raha tsy very kisendrasendra ny angon-drakitra, dia mety hiteraka fitongilanana ny famafana. Fahatelo, maro ny algorithm statistika na ny fianarana milina mitaky angon-drakitra feno , ka mahatonga ny famintinana ho dingana mialoha ny fanodinana mora.
Na izany aza, ny famintinana dia tsy momba ny "famenoana ny banga" fotsiny. Ny fomba fidiana dia tsy maintsy mandinika ny mekanisma tsy ampy amin'ny angon-drakitra, ny rafitry ny variables, ary ny tanjon'ny fanadihadiana. Ny famintinana ratsy dia mety "hamitaka" ny modely, hampihena ny variance, ary hahatonga ny vokatra ho toa azo antoka kokoa noho ny tena izy.
Fomba fiasan'ny angon-drakitra very
Ao amin'ny literatiora statistika, ny angon-drakitra tsy hita dia mazàna sokajiana ho fomba fiasa telo lehibe:
1. MCAR (Tsy Hita Mihitsy): ny mety hisian'ny tsy fahitana angon-drakitra dia tsy miankina amin'ny fiovaovana rehetra, na hita na tsy hita. Ohatra, ny fanontaniana simban'ny lozam-pifamoivoizana.
2. MAR (Tsy Hita Amin'ny Kisendrasendra): ny mety hisian'ny tsy fisian'ny angon-drakitra dia miankina amin'ny fiovaovana voamarika, fa tsy miankina amin'ny sanda tsy hita mihitsy rehefa avy nifehy ireo fiovaovana hafa. Ohatra, ireo tanora namaly ny fanadihadiana dia mety tsy hahita fanontaniana momba ny fidiram-bola, saingy azo jerena ny taona.
3. MNAR (Tsy Hita Mihitsy): Miankina amin'ny sanda tsy hita mihitsy ny mety hisian'ny angon-drakitra tsy hita. Ohatra, ny olona manana fidiram-bola be dia be dia mirona tsy hanambara ny fidiram-bolany.
Azo antoka kokoa amin'ny ankapobeny ny fampiasana "imputation" eo ambanin'ny MCAR/MAR. Matetika ny MNAR dia mitaky modely izay mandinika mazava tsara ny tsy ampy angon-drakitra na fanadihadiana momba ny fahatsapana.
Fomba Fanombanana Tsotra
1. Fampitahana antonony/salan'isa/fomba
Ny fomba tsotra indrindra dia ny fanoloana ireo sanda tsy ampy amin'ny salan'isa na mediana ho an'ny variables isa, ary ny mode ho an'ny variables sokajy. Ireto ny tombony azo: mora, haingana, ary matetika ampiasaina ho toy ny fototra. Ireto ny fatiantoka: afaka mampihena ny variance sy manova ny fizarana data, indrindra raha tsy mitovy ny data na misy outliers. Mazàna ny mediana dia matanjaka kokoa raha oharina amin'ny outliers noho ny salan'isa..
2. Fanombanana tsy tapaka
Fenoina amin'ny tsy miovaova manokana ny sanda tsy ampy, toy ny 0, -1, na ny marika hoe "Tsy fantatra". Ilaina izany rehefa manana dikany manokana ny sanda (ohatra, "tsy misy fifanakalozana"), na rehefa mila omena famantarana fanampiny ny modely mba hanasongadinana ny tsy fahampiana. Na izany aza, ny fisafidianana tsy miovaova kisendrasendra dia mety hampiditra lamina sandoka.
3. Fanombanana ny tokotanin-tsambo mafana
Ao amin'ny "hot deck", ireo sanda tsy ampy dia fenoina amin'ny fampiasana sanda avy amin'ny fandinihana "mitovy" hafa (mpanome) mifototra amin'ny fiovaovana fototra maromaro. Malaza amin'ny fanadihadiana ity fomba ity. Ny "hot decks" dia mitazona sanda tena izy satria maka ny sanda tena izy amin'ny angon-drakitra, saingy ny valiny dia saro-pady amin'ny famaritana ny "fitoviana" ary mety hiteraka fiovaovan'ny santionany.
Fomba Fanombanana Mifototra Amin'ny Modely
4. Fampiharana ny Fihemorana
Vinavinaina amin'ny alalan'ny modely regression an'ny variables hafa ny sanda tsy hita. Azo ampiasaina ny regression linear ho an'ny variables numérique; azo ampiasaina kosa ny variables categorical. fihemorana ara-logistika na multinomial. Tombony: mampiasa ny fifandraisana misy eo amin'ireo variables. Fatiantoka: ny fampiasana sanda vinavinaina deterministika ihany dia mirona hampihena ny fiovaovana satria ny sanda rehetra ampidirina dia mifanitsy tsara amin'ny tsipika vinavinaina. Mba handaminana izany, matetika ampiana singa kisendrasendra (ohatra, residuals) mba hahazoana realisme bebe kokoa.
5. k-Mpiara-monina akaiky indrindra (kNN) Famaritana
Ny fomba kNN dia mameno ny sanda tsy ampy mifototra amin'ny salan'isa (na ny vato) an'ny mpiara-monina akaiky indrindra k. Ny akaiky dia matetika refesina amin'ny elanelana Euclidean na metrika hafa rehefa avy namboarina ny angona. Ny tombony azony dia ahitana ny fahafaha-milefitra sy ny fiheverana fa tsy misy fifandraisana linear. Ny fatiantoka dia ahitana ny lafo vidy amin'ny kajy ho an'ny angona lehibe, ny fahatsapana amin'ny ambaratonga miovaova, ary ny fihenan'ny fahombiazana amin'ny angona avo lenta (ozona amin'ny refy).
6. Fanamafisana ny Fanantenana (EM)
Ny fomba fiasa EM dia manombana ireo masontsivana modely (ohatra, ny salan'isa sy ny covariance ho an'ny angon-drakitra ara-dalàna multivariate) amin'ny alàlan'ny fiheverana ireo sanda tsy hita ho toy ny variables miafina. Ny Dingana E dia manisa miverimberina ny fanantenana ny sanda tsy hita mifototra amin'ny masontsivana ankehitriny, ary avy eo ny Dingana M dia manavao ireo masontsivana mifototra amin'ny angon-drakitra "feno" andrasana. Ny EM dia matanjaka amin'ny fiheverana fizarana sasany, saingy mety ho sarotra ary miankina amin'ny fahamarinan'ny fiheverana modely.
Fanomezana isa maromaro: Ny fenitra volamena amin'ny tranga maro
7. Fampidirana marobe (MI)
Ny Imputation Maro no heverina ho iray amin'ireo fomba fiasa fototra indrindra amin'ny MAR. Raha tokony hamorona angon-drakitra feno tokana ny MI, dia mamorona angon-drakitra maromaro (ohatra, 5–20) miaraka amin'ny imputations samihafa izay maneho ny tsy fahazoana antoka. Hadihadiana misaraka ny angon-drakitra tsirairay, avy eo dia atambatra ny valiny amin'ny fampiasana ny fitsipiky ny Rubin mba hahazoana tombana sy hadisoana mahazatra kokoa.
Tombony azo avy amin'ny MI:
- Manatsara ny tsy fahampian'ny fandrindrana.
– Marina kokoa amin'ny fanatsoahan-kevitra ara-statistika (elanelam-pitokisana, fitsapana petra-kevitra).
- Azo ovaina ho an'ny karazana fiovaovana isan-karazany.
Ny fetrany:
- Fampiharana sarotra kokoa.
– Mitaky vinavina sy famaritana sahaza ho an'ny modely fanombanana.
– Raha misy tsy ampy ao amin'ny MNAR, dia mbola mety ho mitombina ihany ny MI mahazatra.
Famaritana ho an'ny andian-tantara ara-potoana sy ny angon-drakitra ara-habakabaka
Ao amin'ny angon-drakitra momba ny andian-tantara ara-potoana, ny sanda tsy hita dia matetika mifandray akaiky amin'ny sandany teo alohany sy ny manaraka azy. Matetika ampiasaina ny fomba toy ny interpolation linear, splines, sivana Kalman, na modely ARIMA/State Space. Ho an'ny angon-drakitra ara-habakabaka, ny fomba fiasa toy ny kriging sy ny modely ara-habakabaka dia afaka manararaotra ny akaiky ara-jeografika. Ireo fomba ireo dia mahomby rehefa manjaka ny rafitra ara-potoana/ara-habakabaka, saingy tsy maintsy mitandrina amin'ny fiovana tampoka (ohatra, ny fahatairana ara-toekarena) izay mety hahatonga ny interpolation tsotra ho diso.
Fomba fanao tsara amin'ny fisafidianana fomba fanombanana
1. Manaova fikarohana momba ny angon-drakitra tsy hita: jereo ny isan-jaton'ny sanda tsy hita, ny lamina misy ny tsy hita, ary raha mifandray amin'ny fiovaovana manokana ny tsy hita.
2. Saraho ny angon-drakitra momba ny fiofanana sy ny fitsapana: ataovy ny fanombanana amin'ny alàlan'ny "fianarana" avy amin'ny angon-drakitra momba ny fiofanana ihany, avy eo ampiharo amin'ny angon-drakitra fitsapana izany mba hisorohana ny fivoahan'ny angon-drakitra.
3. Diniho ny karazana fiovaovana: isa, sokajy, filaharana, na mifangaro; samy hafa ny fomba mety.
4. Ampiasao ireo mari-pamantarana ny tsy fahampiana: indraindray ny fampahalalana fa misy sanda tsy ampy dia efa faminaniana; ny fanampiana ireo fiovaovan'ny mari-pamantarana dia afaka manatsara ny fahombiazan'ny modely faminaniana.
5. Tombano ny fiantraikan'ny fanomezana isa: ampitahao ny fizarana alohan'ny/aorian'ny fanomezana isa, jereo raha nihena ny fiovaovana, ary hamarino ny modely.
6. Ataovy laharam-pahamehana ny MI amin'ny fanatsoahan-kevitra: rehefa ny tanjon'ny fanadihadiana dia ny fanombanana ny masontsivana sy ny fitsapana statistika, dia matetika no mety kokoa ny fanomezana isa maromaro noho ny fanomezana isa tokana.
Famaranana
Singa iray tena ilaina amin'ny fizotran'ny statistika maoderina ny fampidirana angona (imputation). Ny fomba tsotra toy ny salan'isa/median dia mety ho fototra na ho an'ny banga kely, saingy matetika manimba ny rafitry ny angona sy ny tsy fahazoana antoka. Ny fomba mifototra amin'ny modely toy ny regression, kNN, ary EM dia mampiasa ny fifandraisana misy eo amin'ny variables, raha ny Imputation Maro kosa dia manome rafitra matanjaka ho an'ny fanatsoahan-kevitra amin'ny alàlan'ny fandraisana an-tsaina ny tsy fahazoana antoka. Ny fisafidianana ny fomba tsara indrindra dia miankina amin'ny mekanisma banga (MCAR/MAR/MNAR), ny tanjon'ny fanadihadiana (vinavina vs. fanatsoahan-kevitra), ary ny toetran'ny angona (andian-dahatsoratra, habaka, mifangaro). Amin'ny fomba fiasa mety, ny fampidirana angona dia manampy amin'ny fitazonana ny fahamarinan'ny fanadihadiana ary miteraka fehin-kevitra azo antoka kokoa.
