Un punto di vista dominante nella scienza e che esiste una verita matematica che struttura l’universo. Si presume che il compito dello scienziato sia quello di decifrare queste relazioni matematiche: una volta comprese, possono essere tradotte in modelli matematici. L’esecuzione della risultante “realta del silicio” in un computer puo quindi fornirci utili spunti su come funziona il mondo.
Dal momento che la scienza continua a rivelare segreti, i modelli continuano a diventare piu grandi. Integrano scoperte e meccanismi appena scoperti per riflettere meglio il mondo che ci circonda. Molti studiosi presumono che modelli piu dettagliati producano stime piu nitide e previsioni migliori perche sono piu vicini alla realta. Ma la nostra nuova ricerca, pubblicata su Science Advances, suggerisce che potrebbero avere l’effetto opposto.
Il presupposto che “piu dettagli e meglio” attraversa campi disciplinari. Le ramificazioni sono enormi. Le universita ottengono computer sempre piu potenti perche vogliono eseguire modelli sempre piu grandi, richiedendo una quantita crescente di potenza di calcolo. Di recente, la Commissione europea ha investito 8 miliardi di euro (6,9 miliardi di sterline) per creare una simulazione molto dettagliata della Terra (con gli esseri umani), soprannominata un “gemello digitale”, sperando di affrontare meglio le attuali sfide sociali ed ecologiche.
Nella nostra ultima ricerca, dimostriamo che la ricerca di modelli sempre piu complessi come strumenti per produrre stime e previsioni piu accurate potrebbe non funzionare. Sulla base della teoria statistica e degli esperimenti matematici, abbiamo eseguito centinaia di migliaia di modelli con diverse configurazioni e misurato quanto siano incerte le loro stime.
Abbiamo scoperto che i modelli piu complessi tendevano a produrre stime piu incerte. Questo perche vengono aggiunti nuovi parametri e meccanismi. Un nuovo parametro, ad esempio l’effetto della gomma da masticare sulla diffusione di una malattia, deve essere misurato ed e quindi soggetto a errori di misurazione e incertezza. I modellisti possono anche utilizzare equazioni diverse per descrivere matematicamente lo stesso fenomeno.
Una volta che queste nuove aggiunte e le relative incertezze sono integrate nel modello, si accumulano sulle incertezze gia presenti. E le incertezze continuano ad espandersi con ogni aggiornamento del modello, rendendo l’output del modello piu sfocato in ogni fase del percorso, anche se il modello stesso diventa piu fedele alla realta.
Cio riguarda tutti i modelli che non dispongono di dati di addestramento o convalida appropriati rispetto ai quali verificare l’accuratezza dell’output. Cio include modelli globali di cambiamento climatico, idrologia (flusso d’acqua), produzione alimentare ed epidemiologia, nonche tutti i modelli che prevedono impatti futuri.
Risultati sfocati
Nel 2009, gli ingegneri hanno creato un algoritmo chiamato Google Flu Trends per prevedere la percentuale di visite mediche legate all’influenza negli Stati Uniti. Nonostante fosse basato su 50 milioni di query che le persone avevano digitato su Google, il modello non era in grado di prevedere l’epidemia di influenza suina del 2009. Gli ingegneri hanno poi realizzato il modello, che non funziona piu, ancora piu complesso. Ma non era ancora cosi preciso. La ricerca condotta dallo psicologo tedesco Gerd Gigerenzer ha mostrato che nel 2011-2013 ha costantemente sopravvalutato le visite mediche, in alcuni casi di oltre il 50%.
Gigerenzer ha scoperto che un modello molto piu semplice potrebbe produrre risultati migliori. Il suo modello prevedeva i tassi di influenza settimanali sulla base di un solo piccolo dato: quante persone avevano visto il proprio medico di famiglia la settimana precedente.
Un altro esempio sono i modelli idrologici globali, che tracciano come e dove l’acqua si muove e viene immagazzinata. Iniziarono in modo semplice negli anni ’60 sulla base dei “processi di evapotraspirazione” (la quantita di acqua che poteva evaporare e traspirare da un paesaggio ricoperto di piante) e presto si espansero, tenendo conto degli usi domestici, industriali e agricoli dell’acqua su scala globale. Il passo successivo per questi modelli e simulare la domanda d’acqua sulla Terra per ogni chilometro ogni ora.
Eppure ci si chiede se questo dettaglio in piu non li rendera solo ancora piu contorti. Abbiamo dimostrato che le stime della quantita di acqua utilizzata nell’irrigazione prodotta da otto modelli idrologici globali possono essere calcolate con un solo parametro: l’estensione dell’area irrigata.
Modi per andare avanti
Perche finora e stato trascurato il fatto che piu dettagli possono peggiorare un modello? Molti modellisti non sottopongono i loro modelli all’analisi di incertezza e sensibilita, metodi che indicano ai ricercatori come le incertezze nel modello influiscano sulla stima finale. Molti continuano ad aggiungere dettagli senza capire quali elementi nel loro modello sono maggiormente responsabili dell’incertezza nell’output.
E preoccupante perche i modellisti sono interessati a sviluppare modelli sempre piu grandi – infatti, intere carriere sono costruite su modelli complessi. Questo perche sono piu difficili da falsificare: la loro complessita intimidisce gli estranei e complica la comprensione di cosa sta succedendo all’interno del modello.
Ci sono rimedi, pero. Ti suggeriamo di assicurarti che i modelli non continuino a diventare sempre piu grandi per il gusto di farlo. Anche se gli scienziati eseguono un’analisi di incertezza e sensibilita, le loro stime rischiano di diventare cosi incerte da diventare inutili per la scienza e il processo decisionale. Investire un sacco di soldi nell’informatica solo per eseguire modelli la cui stima e completamente confusa non ha molto senso.
I modellisti dovrebbero invece riflettere su come l’incertezza si espande ad ogni aggiunta di dettagli nel modello e trovare il miglior compromesso tra il livello di dettaglio del modello e l’incertezza nella stima.
Per trovare questo compromesso, si puo utilizzare il concetto di “dimensioni effettive” – una misura del numero di parametri che aggiungono incertezza all’output finale, tenendo conto di come questi parametri interagiscono tra loro – che definiamo nel nostro articolo .
Calcolando le dimensioni effettive di un modello dopo ogni aggiornamento, i modellisti possono valutare se l’aumento dell’incertezza rende il modello ancora adatto alla politica o, al contrario, se rende l’output del modello cosi incerto da essere inutile. Cio aumenta la trasparenza e aiuta gli scienziati a progettare modelli che servono meglio la scienza e la societa.
