2017. március 29. szerda
Előrejelzések értékelése
A prognózisok beválásának a mért, illetve megfigyelt adatok alapján történő utólagos meghatározása (a verifikáció) fontos információt jelent az előrejelzők számára, hiszen egy-egy gyengébben sikerült prognózis okainak felderítése nagyban hozzájárulhat a jövőbeli hasonló típusú hibák elkerüléséhez. A folyamatos értékelés lehetőséget teremt az elmúlt évekre jellemző trendek meghatározására, akár minden egyes előrejelzett paraméterre vonatkozóan. Mivel a napjainkban készülő előrejelzések szervesen kötődnek a numerikus időjárás előrejelző modellek produktumaihoz, a prognózisok verifikálása egyúttal azok hibáira is rávilágít. Az ezzel kapcsolatos esettanulmányok, illetve hosszabb időszakra kiterjedő vizsgálatok rendkívül hasznos eredményekkel szolgálhatnak a felhasznált modellekről, kijelölhetik azok szükséges továbbfejlesztésének fő irányait. A prognózisok beválásának értékelése tehát több szempontból lényeges folyamat, amely hozzájárulhat az előrejelzések minőségének fokozatos javulásához.

Időjárás-előrejelző osztály (IEO) Operatív Verifikációs Rendszere
Az IEO Operatív Verifikációs Rendszerét 1999-ben vezettük be. Az elsődleges cél az osztályon naponta készülő operatív rövid- és középtávú alap előrejelzések automatikus, objektív verifikációja volt. Ez hamarosan kiegészült a prognózisok készítésekor használt két fő numerikus előrejelző modellnek, az ALADIN-nak és az ECMWF-nek az előrejelzővel azonos módon történő értékelésével. Így meghatározhatóvá vált, hogy az előrejelző mennyit javít a „nyers” modell előrejelzéseken. A verifikáció folyamatát megkönnyítik az ún. kódszerű előrejelzések, amelyekben minden előrejelzett paraméter értékét számok formájában adjuk meg (1. ábra).
1. ábra
Példa kódszerű előrejelzésre az előrejelzett elemek listájával
Egy ilyen, csupán számokból álló prognózist  —  a tényleges adatok (mérések, megfigyelések) ismeretében  —  igen egyszerűen értékelhetünk. A bemutatott kódszerű előrejelzések összesen 8 időszakra készülnek, az első nap esetén két részre bontva (éjszaka, ill. nappal), míg a 2-tól a 7. napig egynapos időszakokra az ország 6 körzetére (2. ábra) vonatkozóan. Ily módon ezek az előrejelzések a meteorológiai paramétereknek mindig az adott területre érvényes átlagos értékeit tartalmazzák. Az előrejelző manuálisan készíti el a kódokat tartalmazó file-t, míg az említett modellekből, különféle algoritmusok alkalmazásával ezek automatikusan állnak elő.
2. ábra
Az ország 6 körzete, amelyekre kódszerű előrejelzések készülnek
Maga az objektív verifikáció a 6 körzetre vonatkozó "előrejelzett  —  tényleges" értékpárok előállításával veszi kezdetét. Ezekből a későbbiek során a legkülönfélébb statisztikai mérőszámok határozhatók meg, amelyek közül a legismertebbek: ME  —  átlagos hiba, MAE  —  átlagos abszolút hiba, RMSE  —  átlagos négyzetes hiba négyzetgyöke, illetve a PC  —  pontos előrejelzések aránya. (egyéb mérőszámok: pl. BIAS, POD, FAR, TS, BS, BSS, stb.) A jelenleg verifikált elemek a következők: a minimum és maximum hőmérséklet, a csapadékmennyiség/egzisztencia/valószínűség, felhőzetmennyiség, valamint az átlagszél és a széllökés. A felvázolt rendszer képes arra, hogy ezen elemek előrejelzését külön-külön, objektív módon verifikálja. Ugyanakkor felmerült annak az igénye is, hogy a prognózisok összteljesítményét egyetlen mérőszámban is megadjuk. Ezt a célt szolgálja az ún. komplex mérőszám, amelyben a verifikált meteorológiai paraméterek beválását súlyozva vesszük figyelembe. Ehhez minden egyes elemre meghatároztunk egy-egy statisztikai mérőszámot, illetve kijelöltük azokat a küszöbértékeket, amelyek esetén az adott paraméter beválása 100 illetve 0%-os (3. ábra). A paraméterek előrejelzésének százalékos beválása a két küszöbérték alapján számítható, majd pedig ezek súlyozott átlagaként a komplex mérőszám is meghatározható.
3. ábra
A verifikált elemekre kijelölt küszöbértékek (baloldalon) és a komplex
mérőszám számításához figyelembe vett súlyok (jobboldalon)
A komplex mérőszám bevezetése az objektív verifikációs rendszer egy "szubjektív pontját" jelenti. Ennek ellenére igyekeztünk az említett mérőszámot oly módon megalkotni, hogy a lehetőségekhez képest minél objektívabban tükrözze vissza az előrejelzések összteljesítményét. Az egyes elemek 0%-os beválásához rendelt küszöböket például úgy kellett meghatározni, hogy a teljesen sikertelennek számító előrejelzéshez tartozó hiba mértéke nagyjából megfeleljen egy átlagfelhasználó igényeinek (természetesen az egyes felhasználók igényei nagymértékben eltérhetnek egymástól). A paraméterek közül a hőmérsékletet vesszük figyelembe legnagyobb súllyal, ugyanis ez az az elem, mely a legobjektívebben verifikálható, és az esetek döntő részében az összes többi paraméter hatását tükrözi. A komplex mérőszámon belül ugyancsak meglehetősen fontos szerepet kapott a felhőzet, míg az átlagszél beválását tekintettük a legkevésbé fontosnak.

Eredmények
A felvázolt objektív verifikációs rendszer felhasználásával naponta táblázatos formában automatikusan elkészül az elmúlt napra vonatkozó rövidtávú és az elmúlt 6 napra vonatkozó középtávú előrejelzések kiértékelése (4. ábra). A rövidtávú előrejelzés esetén körzetenként részletezve, a középtávú prognózisnál országos átlagban vannak feltüntetve az egyes elemekre vonatkozó előrejelzési hibák mind az előrejelzőre, mind a két fő modellre vonatkozóan. Ily módon az előrejelzők azonnal szembesülhetnek prognózisuk sikerességével, illetve azzal, hogy mennyit sikerült javítani a modellekből készülő automatikus előrejelzésekhez képest mind elemenként, mind pedig összességében.
4/a., 4/b. ábra
Rövidtávú (baloldalon) és középtávú (jobboldalon) verifikációs tábla
Ezek az információk igen hasznosak abból a szempontból is, hogy gyors áttekintést nyerhetünk az elmúlt napokra jellemző modell hibákról, mely az aktuális előrejelzés készítése során gyakran előnyös lehet. Ha pl. a modell nyári anticiklonális helyzetben már napok óta átlagosan 2-3 fokkal alábecsülte a maximum hőmérsékletet (4. ábra), akkor ez a hiba nagy valószínűség szerint a következő napokra is jellemző lesz, amennyiben jelentősen nem változik az időjárási helyzet.
Az előrejelzések beválásának naponkénti követése mellett ugyancsak hasznos lehet a verifikációs eredmények hosszabb időszakokra vonatkozó feldolgozása. Ez alapján könnyen meghatározhatók az előrejelzések évszakonként akár ellentétes előjelű szisztematikus hibái, és kijelölhetők azok a területek is, ahol hibák fokozottan jelentkeznek. A komplex mérőszám 2012-re vonatkozó értékei alapján (5. ábra) megállapítható, hogy a prognózisok átlagos beválása  —  a várakozásoknak megfelelően  —  az időtáv növekedésével fokozatosan csökken.
5. ábra
A komplex mérőszám alakulása 2012-ben az előrejelzőre és az
ECMWF modellre vonatkozóan az elsőtől a hatodik napig
Míg pl. az első napra átlagosan 82-84%-os prognózisok készültek, addig a 6. napra ez az érték alig haladja meg a 70%-ot. Az előrejelző éves átlagban 3-4%-ot tudott javítani a modellből készülő automatikus előrejelzésen. Az átlagos javítás mértéke a 3. napig kissé csökken, majd ismét növekedés látható a hosszabb időtávok felé haladva. Ennek oka abban keresendő, hogy a determinisztikus ECMWF modellen kívül az előrejelző az ún. ECMWF EPS-t, illetve más modelleket is felhasznál, és ezen többletinformációk birtokában dönt arról, hogy milyen irányban és milyen mértékben módosítja a determinisztikus ECMWF előrejelzést. Vizsgálatok szerint az említett ensemble előrejelzések egyébként pont a 3-4. naptól kezdődően jobb beválásúak a determinisztikus modelltől.
Ha az előrejelző összteljesítményét naponként összehasonlítjuk a használt két fő modell beválásával, akkor érdekes éves menetet kapunk (6. ábra).
6. ábra
Az előrejelző naponkénti javítása a modell előrejelzéseken (az ECMWF-hez és az ALADIN-hoz
viszonyított javítás átlaga, pozitív érték: javítás, negatív érték: rontás) az 1. napra vonatkozóan
2012-ben, illetve a görbére illesztett 14-napos mozgó átlag
2012-ben az 1. napra vonatkozóan a javítások mellett viszonylag jelentős számú olyan eset is előfordult, amikor az előrejelző rontott a modellekhez képest. Áprilistól szeptember végéig ugyanakkor a javítás mértéke jelentősnek mondható, átlagosan 5% és 10% közötti értékkel. Ha alaposabban megvizsgáljuk ezt az időszakot, akkor megállapítható, hogy ekkor a modell előrejelzések főként a hőmérséklet tekintetében szisztematikus hibával terheltek: a minimum hőmérsékletet általában felülbecslik, míg a maximum hőmérsékletet alulbecslik. Az előrejelző  —  ismerve a modellek általános viselkedését ebben az időszakban  —  az eredmények szerint jelentősen korrigálni tudta az említett hibát. Az ősz folyamán aztán fokozatosan csökkent a javítás mértéke, és november végére, december elejére csupán 1-2%-ra zsugorodott.
Az elmúlt éveket áttekintve feltűnő, hogy főleg a modellek esetén hónapról-hónapra igen nagy változékonyság jellemző (7. ábra). Az előrejelző összteljesítménye az első napra általában jól követi a két felhasznált fő modell beválásának átlagát, azaz ha rosszabbul teljesítenek a modellek, akkor többnyire az előrejelző által készített prognózisok beválása is csökken. Az illesztett lineáris trend szerint az elmúlt években folyamatos fejlődés tapasztalható.
7. ábra
A komplex mérőszám havi értékei az 1. napra 2000-től 2012-ig az előrejelzőre
és a modellek átlagára (ECMWF és ALADIN) vonatkozóan
Az egyes elemekre vonatkozó 2012-es eredményeket mutatja be a 8. ábra.
8. ábra
Az egyes elemek előrejelzései hibáinak alakulása 2012-ben az előrejelzőre és az
ECMWF-re vonatkozóan az elsőtől a hatodik napig
(MAE  —  átlagos abszolút hiba, PC  —  pontos előrejelzések aránya)
A fentiekből is nyilvánvaló, hogy előrejelzéseink beválásának javulását döntő mértékben az egyre megbízhatóbb modelleknek köszönhetjük. A sikeres előrejelzésekben azonban más tényezők, így a meteorológus szakemberek ismereteinek bővülése és a technikai fejlődés is szerepet játszik. Az elmúlt évtizedekben az előrejelzés munkafolyamatainak jelentős részét sikerült automatizálni. Ennek keretében a hagyományos szinoptikus térképek előállítását teljes mértékben, analizálását 90%-ban automatizáltuk. A szolgáltatások terén ugyancsak jelentős előrelépés következett be. Míg néhány évtizeddel ezelőtt  —  bár a mostaninál lényegesen kevesebb és kisebb tartalommal bíró megrendeléssel rendelkeztünk  —  a szerződéses anyagokat egyenként, külön legépelve készítettük, addig ma  —  a médiás szolgáltatásokat nem számítva  —  a szerződések kb. 50%-a teljesen automatikusan kerül el a megrendelőkhöz, és a fennmaradók jelentős része is csak kisebb szinoptikusi beavatkozást igényel. Az automatizálásnak köszönhetően a meteorológusnak a korábbinál több ideje és energiája marad a szakmai munkára. Ez, továbbá az, hogy a megjelenítő rendszerek fejlesztése révén sokkal több, a korábbiaknál összetettebb mezők, ábrák segítik a légkörben lejátszódó és a modellek által prognosztizált folyamatok megértését, pozitívan hat az előrejelzések minőségére, beválására.