L'affidabilità dei modelli secondo Giuliacci

[MrPippoTN]

http://www.meteogiuliacci.it/articoli/affidabilita-dei-modelli-migliore--ecmwf-o-gfs.html

AFFIDABILITÀ DEI MODELLI. MIGLIORE ECMWF O GFS?





Qui di seguito trattiamo il tema affascinante dell'affidabilità dei modelli previsionali fisico-matematici e, in particolare, risponderemo alle due domande più frequenti  al riguardo:
E' vero che oltre i 3 giorni i modelli non sono più affidabili?
E' migliore il modello europeo ECMWF (European Center Medium Weather Forecast) o il modello americano GFS (Global Forecast System) denominato, quest'ultimo, anche con l'acronimo MRF (Medium Range Forecast)?
Alla prima domanda rispondiamo che è un  falso luogo comune – spesso avallato anche dagli addetti ai lavori - asserire che oltre i 3 giorni i modelli previsionali del tempo non sono più affidabili.  Insomma non è vero che le previsioni elaborate oltre 3 giorni dai modelli non sono più affidabili.
E' però vero che i modelli hanno una affidabilità via via più bassa al crescere del periodo al quale è estesa la previsione. Insomma è ovvio che una previsione formulata con i modelli 24 ore prima della scadenza è più precisa di quella formulata 72 ore (3 giorni) prima della scadenza, così come una previsione formulata 72 ore prima della scadenza è ovviamente più affidabile di  quella formulata 5 giorni prima. In particolare, dalla prima figura allegata (riferita al modello di ECMWF)  si riconosce che oggigiorno i modelli fisico matematici hanno una affidabilità quasi del 97% per una previsione a 3 giorni (3d), del 90% per una previsione a 5 giorni, del 75% per una previsione a 7 giorni .
Quindi non si può parlare di mancanza o meno di affidabilità  temporale dei modelli ma di una "diversa" affidabilità a seconda del periodo di validità al quale è estesa la previsione.
Per quanto riguarda la seconda domanda, rispondiamo con la seconda figura ove è riportata la performance del modello europeo (EC), di quello americano (MRF) e di quello inglese (UKMO) al variare del periodo di validità della previsione.
Ebbene per previsioni fino a 3 giorni  i tre modelli sono ugualmente affidabili.
Per previsioni da 4 a 6 giorni il modello europeo è statisticamente più affidabile di qualsiasi altro ma oltre 6 giorni il modello più affidabile è quello americano MRF, seguito da quello europeo e poi da quello inglese. Sfatato un secondo luogo comune secondo il quale il modello europeo sarebbe il migliore sempre e comunque.
Sorpresi, vero?
© Mario Giuliacci

[ste77]

io una domanda ce l'ho...
come viene calcolata la percentuale di affidabilità? cosa vuol dire che a 7 giorni ha il 75%?
viene guardato quanto ci va vicino fra sinottica prevista e sinottica reale?
oppure per ogni emissione o ci imbrocca o no? ma allora per imbroccarci quanto deve andarci vicino alla situazione reale?
perchè se ha il 75% a 7 giorni tipicamente a quella distanza i 20 spaghi sono tutti differenti fra loro e apertissimi?

90% a 5 giorni? ma quante inculate abbiamo preso a 5 giorni? e 9 volte su 10 dovrebbe imbroccarci

98% a 3 giorni, beh il 2 Gennaio 3 giorni prima erano previsti 20-30mm poi ne ha fatti 5mm...allora per le prossime 50 previsioni non dovrebbero più sbaglaire a 3 giorni in media

scusate è un mio pensiero a me sa tanto di calcolo truffa...

[MrPippoTN]

io una domanda ce l'ho...
come viene calcolata la percentuale di affidabilità? cosa vuol dire che a 7 giorni ha il 75%?
viene guardato quanto ci va vicino fra sinottica prevista e sinottica reale?
oppure per ogni emissione o ci imbrocca o no? ma allora per imbroccarci quanto deve andarci vicino alla situazione reale?
perchè se ha il 75% a 7 giorni tipicamente a quella distanza i 20 spaghi sono tutti differenti fra loro e apertissimi?

90% a 5 giorni? ma quante inculate abbiamo preso a 5 giorni? e 9 volte su 10 dovrebbe imbroccarci

98% a 3 giorni, beh il 2 Gennaio 3 giorni prima erano previsti 20-30mm poi ne ha fatti 5mm...allora per le prossime 50 previsioni non dovrebbero più sbaglaire a 3 giorni in media

scusate è un mio pensiero a me sa tanto di calcolo truffa...

Infatti com'è noto per me i modelli sopra i 3 giorni sono spazzatura... e il peggioramento di domenica prossima, completamente cancellato sia da GFS 12z che da ECMWF 12z, ne è l'ennesima dimostrazione pratica.

[ste77]

io una domanda ce l'ho...
come viene calcolata la percentuale di affidabilità? cosa vuol dire che a 7 giorni ha il 75%?
viene guardato quanto ci va vicino fra sinottica prevista e sinottica reale?
oppure per ogni emissione o ci imbrocca o no? ma allora per imbroccarci quanto deve andarci vicino alla situazione reale?
perchè se ha il 75% a 7 giorni tipicamente a quella distanza i 20 spaghi sono tutti differenti fra loro e apertissimi?

90% a 5 giorni? ma quante inculate abbiamo preso a 5 giorni? e 9 volte su 10 dovrebbe imbroccarci

98% a 3 giorni, beh il 2 Gennaio 3 giorni prima erano previsti 20-30mm poi ne ha fatti 5mm...allora per le prossime 50 previsioni non dovrebbero più sbaglaire a 3 giorni in media

scusate è un mio pensiero a me sa tanto di calcolo truffa...

Infatti com'è noto per me i modelli sopra i 3 giorni sono spazzatura... e il peggioramento di domenica prossima, completamente cancellato sia da GFS 12z che da ECMWF 12z, ne è l'ennesima dimostrazione pratica.

sì ma anche a 3 giorni non ci imbroccano al 98%, ovvio che magari sono piccoli scostamenti ma fondamentali sulla previsione concreta che è quello che conta...
se sbaglia di 200km la posizione di un minimo e quella mi fa passare da 30mm a 1mm per me è sbagliata la previsione...

[Alessandro de Costa]

Forse le percentuali non sono riferite all' italia ed ancor meno alle alpi dove come dice ste una piccola variazione porta a effetti quasi opposti.

[Thomyorke]

ma che diamine state dicendo!!!

qui basta che vari di 0.4 % e un peggioramento salta! Pensate ad un minimo spostato verso sud di 150 km...a livello europeo è un'inezia, per noi è un cambiamento radicale...

Ma non è che se quella minuscola variazione determina un grande effetto LOCALE allora la variazione si trasforma in una variazione GRANDE.

E' questione di orografia, ragazzi...

[ste77]

ma che diamine state dicendo!!!

qui basta che vari di 0.4 % e un peggioramento salta! Pensate ad un minimo spostato verso sud di 150 km...a livello europeo è un'inezia, per noi è un cambiamento radicale...

Ma non è che se quella minuscola variazione determina un grande effetto LOCALE allora la variazione si trasforma in una variazione GRANDE.

E' questione di orografia, ragazzi...

io sono italiano e i modelli li guardo per sapere che tempo fa in Italia quindi per me quella variazione è grande...

[ross]

Occhio che stiamo parlando di modelli globale, non fate l'errore di ricondurre gli indici di affidabilita' di un modello a quello che succede in un punto (per di piu' con orografia molto complessa. atoller e franz hanno ragione: qui si parla di indici che prendono in considerazione l'affidabilita' del modello nel rappresentare la variabilita' atmospferica a scale sinottiche. Il primo grafico mostra uno dei tanti indici su cui si analizza l'affidabilita' di un modello, in questo caso l'anomaly correlation.

In pratica mostra la correlazione tra il tempo atmosferico del modello e quello osservato (in realta' la correlazione delle anomalie rispetto alla media climatica calcolate per la previsione e per le osservazioni). In genere si usa una correlazione dell'80% come soglia limite per determinare se il modello ha rappresentato bene il tempo che ha fatto. Sotto quella soglia il modello non ci prende e vicino al 50% di correlazione ci si prende di piu' facendo una media climatica. L'indice per i modelli globali come quelli dell'articolo di Giugliacci sono calcolati su tutto l'emisfero N (o S). Confrontare questo indice con il tempo che fa in un puntino tra le alpi non ha senso (senza contare che sappiamo bene che forma hanno le Alpi a 16 o 20km di risoluzione spaziale).

E' interessante perche' ci dice che la situazione sinottica e' in grado di essere prevista con buona affidabilita' fino a 5-6 giorni. Poi sta ai LAM inizializzati con quelle informazioni "vedere" il dettaglio locale del tempo che fara'

[ste77]

Capisco benissimo quello che dice Ross e la valutazione dal punto di vista scentifico.

Ma uscendo un attimo dal fisico/matematico e andando un po' più concretamente ma quell'articolo è scritto in italiano da un italiano e rivolto a lettori italiani e quindi non mi sembra di minima importanza valutare l'affidabilità relativa all'Italia che poi è quello che maggiormente ci interessa. Letto da uno non esperto comunque quell'articolo farebbe capire che osservando i modelli io so con affidabilità del 98% il tempo che farà fra 3 giorni, con il 90% quello fra 5 e con il 75% quello fra 10 in Italia e sappiamo tutti che non è vero. Ma non è vero nemmeno fuori dall'Italia anche se sicuramente in altre zone è molto più facile che in Italia. E comunque a me e ai lettori di quell'articolo interessa l'Italia è come se un articolo rivolto agli italiani dicesse oggi le borse sono in positivo, mentre in realtà Milano è -3 percento, Tokyo +5 e NewYork +5 in media sì sono positive ma siccome l'articolo è rivolto a lettori italiani ci sarebbe poco da gioire, certo le altre borse influenzano anche quella di Milano questo è vero ma....
Certo avranno quella affidabilità sulla sinottica (ma poi su quale parametro sono fatte quelle percentuali di affidabilità? su isobare? gpt? isoterme? su tutti insieme?) ma non credo proprio su come si ripercuote sul tempo effettivo...spero di essermi spiegato

Anche l'80% come limite per determinare se il modello ha rappresentato bene il tempo boh mi sembra veramente basso, è come se io dicessi che una partita di calcio finisce 2-2 (o 3-2) poi in realtà finisce 2-3 e sostenessi di averci imbroccato perchè in effetti 4 gol su 5 li ho indovinati quindi l'80%, peccato che quell'unico gol che non ho indovinato faccia la differenza.

Ripeto tutte idee e osservazioni le mie uscendo da fisico/matematico/statistico (che per altro purtroppo non sono con grande rimpianto per la seconda e la terza) e rivestendo i panni di un appasionato medio di cultura meteo media se non bassa...

[MrPippoTN]

Partendo dal presupposto dell'enorme rispetto e riconoscimento verso gli istituti di ricerca climatologica e di previsione meteo, io sono della stessa scuola di pensiero di Stefano.

[ross]

Ste, 80% li non significa che imbrocchi 8 volte su 10 la situazione eh. Quello e' un coefficiente di correlazione. 80% significa che il tempo del modello e' correlato con un coefficiente di 0.8 al tempo reale (i due sono linearmente dipendenti). Non e' una probabilita'.
Il coefficiente e' calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato. E come sappiamo il geopotenziale a 500hPa e' un buon proxy per le situazioni sinottiche.
E ribadisco, quello e' uno dei molti altri indici usati per testare l'affidabilita' del modello.

Quanto al discorso italia: hai ragione che come utente italiano sei interessato a quello che succede li. Ma converrai che una correlazione di 0.9 di una previsione a 5gg col tempo che poi si verifica, significa prevedere la situazione che colpira' una zona come il N italia molto bene e in termini utili economicamente. Poi chiaro che a 5 gg gfs o ecmwf non ti sanno dire se saranno 10 o 20mm in val d'adige, ma di sicuro ti sanno dire se saranno dell'ordine di 100mm o 10mm. E' questo quello che conta a 5gg no?

[ste77]

Ste, 80% li non significa che imbrocchi 8 volte su 10 la situazione eh. Quello e' un coefficiente di correlazione. 80% significa che il tempo del modello e' correlato con un coefficiente di 0.8 al tempo reale (i due sono linearmente dipendenti). Non e' una probabilita'.
Il coefficiente e' calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato. E come sappiamo il geopotenziale a 500hPa e' un buon proxy per le situazioni sinottiche.
E ribadisco, quello e' uno dei molti altri indici usati per testare l'affidabilita' del modello.

Quanto al discorso italia: hai ragione che come utente italiano sei interessato a quello che succede li. Ma converrai che una correlazione di 0.9 di una previsione a 5gg col tempo che poi si verifica, significa prevedere la situazione che colpira' una zona come il N italia molto bene e in termini utili economicamente. Poi chiaro che a 5 gg gfs o ecmwf non ti sanno dire se saranno 10 o 20mm in val d'adige, ma di sicuro ti sanno dire se saranno dell'ordine di 100mm o 10mm. E' questo quello che conta a 5gg no?

si si mi è tutto chiaro...grazie per le spiegazioni!
il problema è che per il Nord-Italia quella correlazione molte volte non basta per avere anche un ordine di grandezza..soprattutto sulle precipitazioni, mentre sul resto temperature vento stato del cielo probabilmente sono sufficienti.
Per il 2 Gennaio erano previsti 20-30mm 3 giorni prima poi è cambiato un pelo e ne ha fatti 2-3mm (e ci scommetto che la correlazione sarà stata anche del 90% perchè in effetti il cambiamento a livello gpt 500hp non era chissà che stravolgimento specie su scala Europea magari,  ma tanto da farci fare un ordine di grandezza in meno di precipitazioni)...

comunque non ho nulla contro i modelli eh, anzi tutt'altro...

[ross]

Ste, 80% li non significa che imbrocchi 8 volte su 10 la situazione eh. Quello e' un coefficiente di correlazione. 80% significa che il tempo del modello e' correlato con un coefficiente di 0.8 al tempo reale (i due sono linearmente dipendenti). Non e' una probabilita'.
Il coefficiente e' calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato. E come sappiamo il geopotenziale a 500hPa e' un buon proxy per le situazioni sinottiche.
E ribadisco, quello e' uno dei molti altri indici usati per testare l'affidabilita' del modello.

Quanto al discorso italia: hai ragione che come utente italiano sei interessato a quello che succede li. Ma converrai che una correlazione di 0.9 di una previsione a 5gg col tempo che poi si verifica, significa prevedere la situazione che colpira' una zona come il N italia molto bene e in termini utili economicamente. Poi chiaro che a 5 gg gfs o ecmwf non ti sanno dire se saranno 10 o 20mm in val d'adige, ma di sicuro ti sanno dire se saranno dell'ordine di 100mm o 10mm. E' questo quello che conta a 5gg no?

si si mi è tutto chiaro...grazie per le spiegazioni!
il problema è che per il Nord-Italia quella correlazione molte volte non basta per avere anche un ordine di grandezza..soprattutto sulle precipitazioni, mentre sul resto temperature vento stato del cielo probabilmente sono sufficienti.
Per il 2 Gennaio erano previsti 20-30mm 3 giorni prima poi è cambiato un pelo e ne ha fatti 2-3mm (e ci scommetto che la correlazione sarà stata anche del 90% perchè in effetti il cambiamento a livello gpt 500hp non era chissà che stravolgimento specie su scala Europea magari,  ma tanto da farci fare un ordine di grandezza in meno di precipitazioni)...

comunque non ho nulla contro i modelli eh, anzi tutt'altro...

ahaha figurati si discute, nessun problema

Per il 2 gennaio l'emissione del deterministico ecmwf delle 12Z del 31 dicembre vedeva per trento a cominciare dalla notte dell'1 fino alle 12 del 2 un totale di  2.5mm e l'ensemble era tra 4mm e 1mm. Non era fuori un fattore 10.
Se la configurazione sinottica e' rappresentata con una correlazione del 90%, l'ordine di grandezza e le tempistiche delle precipitazioni sono prese bene anche a scale tipo NE italiano. Poi non sono qui a dire che i modelli non hanno pecche, figurarsi. Pero' penso che fino a 5 giorni di anticipo forniscano previsioni utili. Non vanno presi per oro colato e alla lettera. E' per quello hanno inventato i vari metodi basati sulle previsioni probabilistiche ensemble

[ste77]

Ste, 80% li non significa che imbrocchi 8 volte su 10 la situazione eh. Quello e' un coefficiente di correlazione. 80% significa che il tempo del modello e' correlato con un coefficiente di 0.8 al tempo reale (i due sono linearmente dipendenti). Non e' una probabilita'.
Il coefficiente e' calcolato facendo la correlazione tra il geopotenziale a 500hPa del modello e quello osservato. E come sappiamo il geopotenziale a 500hPa e' un buon proxy per le situazioni sinottiche.
E ribadisco, quello e' uno dei molti altri indici usati per testare l'affidabilita' del modello.

Quanto al discorso italia: hai ragione che come utente italiano sei interessato a quello che succede li. Ma converrai che una correlazione di 0.9 di una previsione a 5gg col tempo che poi si verifica, significa prevedere la situazione che colpira' una zona come il N italia molto bene e in termini utili economicamente. Poi chiaro che a 5 gg gfs o ecmwf non ti sanno dire se saranno 10 o 20mm in val d'adige, ma di sicuro ti sanno dire se saranno dell'ordine di 100mm o 10mm. E' questo quello che conta a 5gg no?

si si mi è tutto chiaro...grazie per le spiegazioni!
il problema è che per il Nord-Italia quella correlazione molte volte non basta per avere anche un ordine di grandezza..soprattutto sulle precipitazioni, mentre sul resto temperature vento stato del cielo probabilmente sono sufficienti.
Per il 2 Gennaio erano previsti 20-30mm 3 giorni prima poi è cambiato un pelo e ne ha fatti 2-3mm (e ci scommetto che la correlazione sarà stata anche del 90% perchè in effetti il cambiamento a livello gpt 500hp non era chissà che stravolgimento specie su scala Europea magari,  ma tanto da farci fare un ordine di grandezza in meno di precipitazioni)...

comunque non ho nulla contro i modelli eh, anzi tutt'altro...

ahaha figurati si discute, nessun problema

Per il 2 gennaio l'emissione del deterministico ecmwf delle 12Z del 31 dicembre vedeva per trento a cominciare dalla notte dell'1 fino alle 12 del 2 un totale di  2.5mm e l'ensemble era tra 4mm e 1mm. Non era fuori un fattore 10.
Se la configurazione sinottica e' rappresentata con una correlazione del 90%, l'ordine di grandezza e le tempistiche delle precipitazioni sono prese bene anche a scale tipo NE italiano. Poi non sono qui a dire che i modelli non hanno pecche, figurarsi. Pero' penso che fino a 5 giorni di anticipo forniscano previsioni utili. Non vanno presi per oro colato e alla lettera. E' per quello hanno inventato i vari metodi basati sulle previsioni probabilistiche ensemble

io parlavo di gfs per l'ultimo peggioramento che anch'esso ha il 98%...sempre che poi i modelli che vediamo noi gratis corrispondano a quelli a pagamento...

comunque si che sono utili anzi ultimissime a 5 giorni anzi forse anche 7 mi sembravano solo un po' esagerate quelle percentuali