Rêbazên Çapkirinê di Statîstîkan de
Di pratîka îstatîstîk û analîza daneyan de, pirsgirêka daneyên winda hema hema her gav derdikeve holê. Daneyên dikarin ji ber ku bersivkar bersiva hin pirsan nadin, xeletiyên tomarkirinê, destwerdana sensoran, daneyên xirab di dema derxistinê de, an jî ji ber pêvajoya hevgirtina gelek çavkaniyên daneyan ên ku bi tevahî li hev nakin, winda bibin. Ger bi rêkûpêk neyên bikar anîn, daneyên winda dikarin kalîteya analîzê xirab bikin, hêza ceribandinê kêm bikin, û tewra bibin sedema encamên alîgir. Yek ji rêbazên herî gelemperî yên ji bo birêvebirina daneyên winda împûtasyon e, ku tê de dagirtina nirxên winda bi nirxên texmînkirî li gorî agahdariya berdest heye.
Çima Împatasyon Girîng e?
Çend sedem hene ku çima împutasyon pir caran li şûna jêbirina daneyên wenda tê hilbijartin. Ya yekem, jêbirina rêz/çavdêriyên ku nirxên wenda dihewînin (mînak, jêbirina bi lîsteyê) dikare mezinahiya nimûneyê bi girîngî kêm bike, nemaze dema ku rêjeya daneyên wenda girîng be. Ya duyemîn, heke daneyên bi tesadufî winda nebin, jêbirin dikare xeletiyê çêbike. Ya sêyemîn, gelek algorîtmayên îstatîstîkî an fêrbûna makîneyê hewceyê daneyên bêkêmasî ne, ku împutasyonê dike gavek pêş-pêvajoyek hêsan.
Lêbelê, îptakirin ne tenê li ser "dagirtina valahiyan" e. Rêbaza ku hatiye hilbijartin divê mekanîzmaya daneyên wenda, avahiya guhêrbaran û armancên analîzê li ber çavan bigire. Îptakirina nebaş dikare modelê "bixapîne", guherbariyê kêm bike û encaman ji ya ku bi rastî ne piştrasttir xuya bike.
Mekanîzmaya Daneyên Windabûyî
Di wêjeya îstatîstîkî de, daneyên wenda bi gelemperî di sê mekanîzmayên sereke de têne dabeş kirin:
1. MCAR (Bi Tesadufî Bi Tevahî Winda): îhtîmala windabûna daneyan ji her guherbarên çavdêrîkirî an neçavdêrî serbixwe ye. Bo nimûne, anketek ji ber qezayekê zirar dîtiye.
2. MAR (Winda Bi Rasthatî): îhtîmala windabûna daneyan bi guhêrbarê çavdêrîkirî ve girêdayî ye, lê piştî kontrolkirina guhêrbarên din bi nirxa winda bi xwe ve girêdayî nîne. Bo nimûne, bersivkarên ciwan îhtîmaleke mezintir heye ku pirsên dahatê ji bîr bikin, lê temen heye.
3. MNAR (Winda Ne Rasthatî): Îhtîmala windabûna daneyan bi nirxa winda bi xwe ve girêdayî ye. Bo nimûne, kesên ku dahatên wan pir zêde ne, meyla wan heye ku dahata xwe eşkere nekin.
Bi gelemperî, împûtasyon di bin MCAR/MAR de ewletir e. MNAR pir caran modelek hewce dike ku bi eşkereyî daneyên wenda an analîzek hesasiyetê hesab bike.
Rêbaza Hêsan a Tesbîtkirinê
1. Nirxandina Navînî/Navînî/Modê
Rêbaza herî hêsan ew e ku nirxên wenda bi navînî an medyan ji bo guherbarên hejmarî, û moda ji bo guherbarên kategorîk werin guhertin. Awantaj ev in: ew hêsan, bilez e, û pir caran wekî bingehek kar dike. Dezavantaj ev in: ew dikare guherbariyê kêm bike û belavkirina daneyan xirab bike, nemaze heke daneyên asîmetrîk bin an jî nirxên derveyî hebin. Bi gelemperî medyan ji navînî li hember nirxên derveyî xurttir e.
2. Têkdana Sabît
Nirxên wenda bi sabîteke taybetî, wek 0, -1, an jî bi etîketa "Nenas" têne dagirtin. Ev kêrhatî ye dema ku nirx xwedî wateyeke taybetî be (mînak, "tune danûstandin"), an jî dema ku model hewce dike ku nîşaneyek zêde lê were dayîn da ku kêmasî were ronîkirin. Lêbelê, hilbijartina sabîteke kêfî dikare qalibên sexte derxîne holê.
3. Têkdana Deka Germ
Di dekek germ de, nirxên wenda bi karanîna nirxên ji çavdêriyên din ên "wekhev" (bexşker) li ser bingeha çend guherbarên sereke têne dagirtin. Ev rêbaz di anketan de populer e. Dekên germ nirxên rastîn diparêzin ji ber ku ew nirxên rastîn ên daneyan digirin, lê encam ji bo pênaseya "wekheviyê" hesas in û dikarin guherîna di navbera nimûneyan de çêbikin.
Rêbaza Tepandinê ya Li ser Modelê
4. Împutasyona Regresyonê
Nirxên wenda bi karanîna modelek regresyonê ya ji guhêrbarên din hatî wergirtin têne pêşbînîkirin. Ji bo guhêrbarên hejmarî, regresyona xêzik dikare were bikar anîn; ji bo guhêrbarên kategorîk, regresyona lojîstîk an pirjimar dikare were bikar anîn. Awantaj ev e ku ew têkiliyên di navbera guhêrbaran de bikar tîne. Dezavantaj ev e ku karanîna tenê nirxên pêşbînîkirî yên diyarker meyla kêmkirina guherbariyê dike ji ber ku hemî nirxên hatine destnîşankirin tam li ser xeta pêşbîniyê dikevin. Ji bo çareserkirina vê yekê, pêkhateyên rasthatî (mînak, bermayiyan) pir caran ji bo realîzmek mezintir têne zêdekirin.
5. k-Cîranên Herî Nêzîk (kNN) Têxandin
Rêbaza kNN nirxên wenda li gorî navînî (an dengdanê) ya k cîranên herî nêzîk tijî dike. Nêzîkbûn bi gelemperî bi dûrahiya Euclidean an metrîkek din piştî ku daneyên normalîze dibin tê pîvandin. Avantajên wê nermbûn û texmîna nebûna têkiliyek xêzikî ne. Dezavantajên wê ji bo setên daneyên mezin bihabûna hesabkirinê, hesasiyeta li hember pîvana guhêrbar, û kêmbûna performansê li ser daneyên bi pîvanên bilind (nifira pîvanbûnê) ne.
6. Zêdekirina Hêviyê (ZH)
Nêzîkatiya EM parametreyên modelê (mînak, navînî û hevguherîna ji bo daneyên normal ên pirguherbar) bi dermankirina nirxên wenda wekî guherbarên veşartî texmîn dike. Gava E bi awayekî dubarekirî bendewariya nirxên wenda li gorî parametreyên heyî hesab dike, û dûv re gava M parametreyan li gorî daneyên "temam" ên bendewar nûve dike. EM li hember hin texmînên belavkirinê xurt e, lê dikare tevlihev be û bi rastbûna texmînên modelê ve girêdayî ye.
Pirjimarî: Standarda Zêrîn di Gelek Dozan de
7. Împutasyona Pirjimar (MI)
Zêdekirina Pirjimar wekî yek ji rêbazên herî prensîpî yên MAR tê hesibandin. Li şûna çêkirina komek daneya yekane ya bêkêmasî, MI gelek komên daneyan (mînak, 5-20) bi zêdekirinên cûda yên ku nezelaliyê nîşan didin çêdike. Her komek daneyan bi awayekî cuda tê analîzkirin, dûv re encam bi karanîna qaîdeyên Rubin têne hev kirin da ku texmînên derbasdartir û xeletiyên standard werin bidestxistin.
Avantajên MI:
- Nezelaliya texmînkirinê qebûl dike.
- Ji bo texmîna îstatîstîkî (navberên baweriyê, ceribandina hîpotezê) rasttir e.
- Ji bo celebên cûrbecûr ên guhêrbaran nerm e.
Sînorkirinên wê:
- Pêkanîna bêtir tevlihevtir.
- Pêdivî bi texmînên têrker û taybetmendiyên modela împutasyonê heye.
- Heke di MNAR de kêmasî hebin, MI-ya standard hîn jî dikare xelet be.
Nirxandina Daneyên Rêzedemî û Cihî
Di daneyên rêzedemî de, nirxên wenda bi gelemperî bi nirxên xwe yên berê û yên paşîn re bi awayekî xurt têkildar in. Rêbazên wekî interpolasyona xêzik, splines, fîlterên Kalman, an modelên ARIMA/State Space pir caran têne bikar anîn. Ji bo daneyên fezayî, nêzîkatiyên wekî kriging û modelên fezayî dikarin nêzîkbûna erdnîgarî bikar bînin. Ev rêbaz dema ku avahiya demkî/fezayî serdest be bi bandor in, lê divê li hember guhertinên ji nişka ve (mînak, şokên aborî) ku dikarin interpolasyona hêsan şaş bikin, hişyarî were dayîn.
Pratîkên Baş di Hilbijartina Rêbazên Texmînkirinê de
1. Lêkolîna daneyên wenda pêk bînin: rêjeya nirxên wenda, qaliba wendabûnê, û gelo wendabûn bi guherbarek taybetî ve girêdayî ye kontrol bikin.
2. Daneyên perwerdehî û ceribandinê ji hev veqetînin: tenê ji daneyên perwerdehîyê bi "fêrbûnê" texmîn bikin, dûv re wê li ser daneyên ceribandinê bicîh bînin da ku rê li ber rijandina daneyan bigirin.
3. Cureyê guhêrbarê bifikirin: hejmarî, kategorî, rêzî, an tevlihev; rêbaza guncaw cûda ye.
4. Nîşaneyên wendabûnê bi kar bînin: carinan agahdariya ku nirxek wenda ye bi xwe pêşbînîker e; zêdekirina guhêrbarên nîşaneyê dikare performansa modelek pêşbînîker baştir bike.
5. Bandora îptalkirinê binirxînin: belavkirinên berî/piştî îptalkirinê bidin ber hev, kontrol bikin ka guherîn kêm bûye, û model piştrast bikin.
6. MI ji bo texmînkirinê pêşîniyê bidin: dema ku armanca analîzê texmîna parametreyan û ceribandina îstatîstîkî be, pirjimarkirina pirjimar pir caran ji yekjimarkirina guncawtir e.
Xelasî
Çêkirina daneyan pêkhateyeke girîng a herikînên xebatê yên îstatîstîkî yên nûjen e ji bo birêvebirina daneyên winda. Rêbazên hêsan ên wekî navînî/navîn dikarin wekî bingehek an ji bo windabûnên piçûk bikêr bin, lê pir caran avahiya daneyan û nezelaliyê têk dibin. Rêbazên li ser bingeha modelê yên wekî regresyon, kNN, û EM têkiliyên di navbera guhêrbaran de bikar tînin, di heman demê de Çêkirina Pirjimar çarçoveyek xurt ji bo texmînkirinê peyda dike bi hesabkirina nezelaliyê. Hilbijartina rêbaza çêtirîn bi mekanîzmaya daneyên winda (MCAR/MAR/MNAR), armanca analîzê (pêşbînîkirin vs. texmînkirin), û taybetmendiyên daneyan (rêzedemên demê, cîhî, tevlihev) ve girêdayî ye. Bi nêzîkatiya rast, çêkirina daneyan dibe alîkar ku yekparçeyiya analîzê were parastin û encamên pêbawertir bide.
