Выкарыстанне алгарытмаў машыннага навучання ў прагназаванні надвор'я
Прагноз надвор'я з'яўляецца найважнейшай часткай сучаснага жыцця. Інфармацыя пра колькасць ападкаў, тэмпературу, вецер і вільготнасць дапамагае многім сектарам прымаць рашэнні: фермерам вызначацца графікі пасеву, авіякампаніям арганізоўваць маршруты палётаў, урадам рыхтавацца да ліквідацыі наступстваў стыхійных бедстваў, а людзям планаваць свае штодзённыя справы. На працягу дзесяцігоддзяў прагназаванне надвор'я абапіралася ў асноўным на лікавае прагназаванне надвор'я (NWP), мадэль атмасфернай фізікі, якая разлічвае змены ўмоў паветра на аснове матэматычных ураўненняў. Аднак у апошнія гады машыннае навучанне (ML) усё часцей выкарыстоўваецца для дапаўнення і нават паскарэння працэсу прагназавання надвор'я, у першую чаргу дзякуючы сваёй здольнасці знаходзіць заканамернасці ў вялікіх аб'ёмах дадзеных.
Чаму машыннае навучанне важна для прагназавання надвор'я?
Атмасфера — гэта вельмі складаная і нелінейная сістэма. Нягледзячы на прагрэс у фізічных мадэлях, застаецца некалькі праблем: высокія патрабаванні да вылічальных тэхналогій, нявызначанасць дадзеных назіранняў і складанасць мадэлявання дробнамаштабных з'яў, такіх як канвектыўныя аблокі або лакальныя ападкі. Менавіта тут машыннае навучанне становіцца актуальным, таму што:
1. Здольны вывучаць нелінейныя заканамернасці па гістарычных метэаралагічных дадзеных, спадарожнікавых дадзеных, радараў і наземных датчыкаў.
2. Можа рабіць прагнозы хутчэй, асабліва для патрэб прагназавання бягучай сітуацыі (0–6 гадзін) і кароткатэрміновых прагнозаў.
3. Павышэнне дакладнасці шляхам карэкцыі зрушэння фізічнай мадэлі, напрыклад, карэкціроўкі вынікаў ЧПП у адпаведнасці з рэгіянальнымі ўмовамі.
4. Выкарыстанне разнастайных дадзеных, якія цяжка непасрэдна ўвесці ў фізічныя ўраўненні, такіх як шматспектральныя спадарожнікавыя здымкі і радар ападкаў.
Магістральнае навучанне не цалкам замяніла фізічныя мадэлі, але дзейнічае як узмацняльнік: паскарае вылічэнні, павялічвае прасторавую дэталізацыю і памяншае памылкі прагназавання.
Тыпы дадзеных у прагназаванні надвор'я на аснове машыннага навучання
Поспех машыннага навучання моцна залежыць ад якасці і паўнаты дадзеных. У кантэксце метэаралогіі да найбольш распаўсюджаных дадзеных адносяцца:
– Дадзеныя аб паверхні: тэмпература, вільготнасць, ціск, кірунак і хуткасць ветру з метэастанцый.
– Дадзеныя верхніх слаёў атмасферы: радыёзонды і вертыкальныя профілі тэмпературы/ветру.
– Спадарожнікавыя здымкі: інфармацыя аб воблачнасці, тэмпература верхняй часткі воблачнасці, утрыманне вадзяной пары і іншыя параметры.
– Метэаралагічны радар: інтэнсіўнасць дажджу і рух штармавых ячэек у высокім разрозненні.
– Вывад мадэлі NWP: служыць дадатковым уваходам для мадэляў машыннага навучання, асабліва для пасляапрацоўкі.
– Паўторны аналіз: часова ўзгоднены аб'яднаны набор даных назіранняў і мадэляў для доўгатэрміновага навучання.
Асноўная праблема заключаецца ў тым, што метэаралагічныя дадзеныя часта няпоўныя, зашумленыя і маюць розную прасторава-часавую раздзяляльнасць. Таму такія этапы папярэдняй апрацоўкі, як інтэрпаляцыя, нармалізацыя, апрацоўка адсутных значэнняў і выраўноўванне сеткі, маюць вырашальнае значэнне.
Часта выкарыстоўваныя алгарытмы машыннага навучання
У залежнасці ад мэты прагназавання выкарыстоўваюцца розныя алгарытмы: штодзённая тэмпература, верагоднасць дажджу, пагадзінныя ацэнкі інтэнсіўнасці ападкаў або экстрэмальныя прагнозы, такія як ураганы.
1. Рэгрэсія і сучасныя статыстычныя мадэлі
Для прагназавання бесперапынных зменных, такіх як тэмпература або ціск, такія метады, як лінейная рэгрэсія, мадэль Рыджа/Ласо і абагульненыя адытыўныя мадэлі (GAM), усё яшчэ карысныя, асабліва калі патрабуецца інтэрпрэтацыя. Гэтыя метады часта выкарыстоўваюцца ў якасці базавых або для простых карэкціровак вынікаў ЧПП.
2. Выпадковы лес і ўзмацненне градыенту
Выпадковы лес і градыентнае ўзмацненне (напрыклад, XGBoost, LightGBM) папулярныя ў пасляапрацоўцы прагнозаў надвор'я. Іх перавагі:
– Устойлівасць да нелінейных дадзеных,
– Здольны апрацоўваць некалькі функцый,
– Адносна стабільны і не занадта адчувальны да маштабу дадзеных.
Прыкладам яго прымянення з'яўляецца прагназаванне верагоднасці дажджу ў пэўным месцы з выкарыстаннем такіх дадзеных, як тэмпература, вільготнасць, індэкс атмасфернай стабільнасці і выніковасць ЧПП у адпаведны час.
3. Метад апорных вектараў (SVM)
SVM часта выкарыстоўваюцца для класіфікацыі падзей, такіх як «дождж» супраць «не дождж» або выяўленне шторму. Аднак SVM могуць быць вылічальна дарагімі для вельмі вялікіх набораў дадзеных, таму іх выкарыстанне ў цяперашні час больш абмежаванае, чым метады павышэння даных або глыбокага навучання.
4. Рэкурэнтныя нейронныя сеткі (RNN), LSTM і GRU
Паколькі надвор'е — гэта часовыя шэрагі, рэгулярныя нейронныя сеткі (RNN), асабліва LSTM/GRU, часта выкарыстоўваюцца для мадэлявання часовых шэрагаў, такіх як пагадзінная тэмпература, вецер або колькасць ападкаў. Гэтыя мадэлі могуць разумець як кароткатэрміновыя, так і доўгатэрміновыя залежнасці, такія як сутачныя заканамернасці або ўплыў рухомых паветраных мас.
5. Згортачныя нейронныя сеткі (ЗНС)
Для прасторавых дадзеных, такіх як спадарожнікавыя і радарныя здымкі, CNN вельмі эфектыўныя, бо яны могуць вылучаць візуальныя заканамернасці, такія як форма і рух аблокаў. CNN таксама выкарыстоўваюцца для прагназавання «карт» ападкаў у пэўнай вобласці сеткі, а не толькі значэння ў адной кропцы.
6. Прасторава-часавыя мадэлі і трансфарматары
Сярод нядаўніх распрацовак — прасторава-часавыя мадэлі аб'яднання, такія як ConvLSTM, а таксама трансфарматары, якія лепш апрацоўваюць доўгія залежнасці. Трансфарматары набіраюць папулярнасць у прагназаванні надвор'я, бо яны могуць вывучаць складаныя сувязі паміж месцамі і з цягам часу, асабліва калі аб'ём дадзеных вельмі вялікі.
7. Машыннае навучанне на аснове фізікі
Гібрыдныя падыходы, якія спалучаюць веды фізікі з машынным навучаннем, набываюць усё большае значэнне. Уключэнне фізічных абмежаванняў (напрыклад, захавання масы або энергіі) у функцыю страт дазваляе мадэлі стаць больш стабільнымі і навукова абгрунтаванымі, што зніжае рызыку «немагчымых прагнозаў».
Як машыннае навучанне выкарыстоўваецца ў сістэмах прагназавання надвор'я
Прымяненне машыннага навучання ў метэаралогіі звычайна падзяляецца на наступныя катэгорыі:
1. Прагноз хуткасці на аснове радара/спадарожніка
ML хутка прагназуе рух і інтэнсіўнасць ападкаў на працягу наступных некалькіх гадзін. Гэта вельмі важна для ранняга папярэджання аб паводках і кіравання дарожным рухам.
2. Пасляапрацоўка вываду NWP
Фізічныя мадэлі часта маюць сістэматычныя адхіленні ў пэўных рэгіёнах. МАГ выкарыстоўваецца для карэкцыі гэтых адхіленняў на аснове гістарычных дадзеных, што прыводзіць да больш лакалізаванай дакладнасці.
3. Памяншэнне маштабу (павелічэнне раздзяляльнай здольнасці)
Глабальны вынік NWP звычайна мае грубае разрозненне. ML можа маштабавацца да больш высокага разрознення, прыдатнага для маштабаў горада або раёна.
4. Ансамблевае і імавернаснае прагназаванне
Паколькі надвор'е поўнае нявызначанасці, машыннае навучанне можа дапамагчы ў стварэнні імавернасных (выпадковых) прагнозаў замест адзінкавых лікаў, такіх як 70% верагоднасць дажджу або дыяпазон магчымых тэмператур.
Праблемы і абмежаванні
Нягледзячы на перспектыўнасць, выкарыстанне машыннага навучання ў прагназаванні надвор'я не абыходзіцца без праблем:
– Якасць дадзеных і прадузятасць назіранняў: раёны з невялікай колькасцю метэастанцый даюць менш прадстаўнічыя дадзеныя.
– Змяненне клімату і нестацыянарнасць: мінулыя заканамернасці не заўсёды супадаюць з будучымі, таму мадэлі неабходна пастаянна абнаўляць.
– Інтэрпрэтабельнасць: складаныя мадэлі, такія як глыбокае навучанне, часта цяжка растлумачыць, нават калі рашэнні аб катастрофах патрабуюць выразнага абгрунтавання.
– Агульнасць мадэлі: мадэль, якая добра працуе ў адным рэгіёне, можа не працаваць у іншым з-за адрозненняў у геаграфічных і кліматычных умовах.
– Устойлівасць да экстрэмальных падзей: экстрэмальных дадзеных адносна мала, таму мадэлі машыннага навучання могуць працаваць не вельмі эфектыўна, калі гэта найбольш неабходна.
Таму найлепшай практыкай з'яўляецца выкарыстанне строгай праверкі (часовай перакрыжаванай праверкі), тэставання ў экстрэмальныя перыяды і бесперапыннага маніторынгу прадукцыйнасці.
Выснова
Машыннае навучанне адкрыла значныя магчымасці для паляпшэння прагназавання надвор'я, асабліва дзякуючы хуткаму прагнозу надвор'я, карэкцыі зрушэнняў ЧПП і павышэнню раздзяляльнай здольнасці прагнозу. Розныя алгарытмы — ад Random Forest да CNN і Transformer — можна выбраць у залежнасці ад тыпу дадзеных і мэтаў прагназавання. Аднак, каб стварыць надзейную сістэму, машыннае навучанне павінна быць падмацавана якаснымі дадзенымі, строгай ацэнкай і разумнай інтэграцыяй з ведамі фізікі атмасферы. У будучыні гібрыдны падыход паміж фізічнымі мадэлямі і машынным навучаннем, верагодна, стане нормай, паколькі ён спалучае ў сабе моцныя бакі абодвух: навуковую паслядоўнасць і здольнасць вывучаць складаныя заканамернасці з вялікіх набораў дадзеных.
Калі жадаеце, я магу зрабіць версію гэтага артыкула з навуковай структурай (рэферат–метад–вынікі–абмеркаванне), дадаць цытаты або засяродзіцца на прыкладах рэалізацыі ў Інданезіі (BMKG, спадарожнікавыя дадзеныя Хімавары і метэаралагічны радар).
