Previsão do Tempo Além de Duas Semanas Usando NVIDIA Earth-2

por Ram Cherukuri

Ser capaz de prever eventos climáticos extremos é essencial, pois essas condições se tornam mais comuns e destrutivas. A previsão climática subsazonal, prevendo o clima duas ou mais semanas no futuro, sustenta a tomada de decisão proativa e o gerenciamento de riscos em setores sensíveis às flutuações climáticas.

Pode ajudar os agricultores a escolher melhor quais culturas cultivar e gerenciar seus recursos hídricos em regiões propensas à seca. As empresas de energia podem equilibrar a oferta e a demanda de energia, enquanto a pesca pode se proteger das ondas de calor marinhas. E os governos podem se preparar para desastres naturais e ameaças à saúde pública, como o pré-provisionamento de infraestrutura móvel de combate a incêndios e mitigação de riscos de calor em regiões onde as perspectivas subsazonais são piores.

O uso de modelos de IA para prever o tempo e o clima ganhou força significativa na pesquisa nos últimos dois anos e agora está ganhando força em ambientes operacionais. A plataforma NVIDIA Earth-2 tem apoiado as comunidades científica e empresarial, fornecendo um stack de ferramentas escalável e de alto desempenho. Ele beneficia a todos, desde especialistas em clima que desejam avaliar e validar a habilidade dos modelos até especialistas em IA/ML que tentam desenvolver, personalizar e dimensionar os modelos para vários casos de uso e conjuntos de dados.

Nesta postagem, forneceremos uma visão geral dos utilitários oferecidos pela plataforma Earth-2 para especialistas em domínio meteorológico desenvolverem e validarem grandes conjuntos para previsões subsazonais probabilísticas, tudo a custos de computação muito mais baixos do que as técnicas tradicionais não ML.

Previsão Subsazonal com IA

Uma das principais vantagens dos modelos climáticos de IA é a capacidade de executar conjuntos operacionais muito maiores do que o que é viável com métodos tradicionais a custos de computação que são ordens de magnitude menores. Pesquisadores da Universidade da Califórnia, em Berkeley, demonstraram no início deste ano uma maneira eficaz de gerar conjuntos bem calibrados de vários milhares de membros (“Huge Ensemble” ou HENS) usando a metodologia Bred Vector/Multi Checkpoint (BVMC). Empresas como JBA e AXA estão usando essa abordagem HENS com um modelo FourCastNet V2 (SFNO) para hindcasting em aplicações de seguros.

A versão mais recente do Earth2Studio introduziu um novo recurso de previsão subsazonal para sazonal (S2S) demonstrado no contexto do Deep Learning Earth System Model (DLESyM). Este é um modelo de deep learning parcimonioso que acopla um modelo de IA de atmosfera multicamada a um modelo de IA oceânico separado que prevê a evolução da temperatura da superfície do mar.

A arquitetura do modelo é uma U-Net com operações de preenchimento modificadas para suportar o uso da grade HEALPix com aproximadamente 1 grau de resolução. Como é baseada em estênceis locais que não usam incorporações de posição, essa arquitetura tem o potencial de generalizar. O modelo demonstrou capacidade realista de assíntota às taxas de erro climatológico esperadas em escalas de tempo de vários meses, e pesquisadores da Universidade de Washington mostraram que ele tem a capacidade de notável estabilidade autorregressiva em simulações em escala climática.

No trecho de código a seguir, você pode ver a facilidade de usar o modelo para gerar previsões subsazonais. A implementação completa está disponível no Earth2Studio aqui.

Previsão Probabilística com Conjuntos

As previsões S2S são, no entanto, inerentemente probabilísticas, não determinísticas. Eles não preveem o clima exato em um dia específico com meses de antecedência, mas fornecem a probabilidade de as condições sazonais se desviarem da norma. Essas previsões são comumente expressas em termos de probabilidades para tercis: a probabilidade de a próxima estação estar no terço superior (acima do normal), terço médio (quase normal) ou terço inferior (abaixo do normal) da distribuição climática histórica para variáveis como temperatura ou precipitação.

Antes da disponibilidade desse novo modelo, as empresas estenderam a abordagem HENS com o modelo FourCastNet V2 (SFNO) para fazer a previsão S2S. E pesquisadores da Universidade da Califórnia, Irvine, mostraram que é tão habilidoso quanto o sistema de previsão ECMWF para a previsibilidade da Oscilação Madden-Julian (MJO); o MJO é uma das principais fontes de previsibilidade S2S na atmosfera.

Agora, o Earth2Studio fornece uma nova receita S2S para usuários interessados em experimentar HENS-SFNO, DLESyM ou outros modelos para fazer previsões S2S. Refletindo a necessidade de conjuntos maiores e escalas de tempo de previsão mais longas, a receita oferece suporte à inferência distribuída de várias GPUs, juntamente com E/S paralela para salvar com eficiência os dados de previsão à medida que são gerados. Também permite salvar apenas um subconjunto das saídas de previsão se o espaço de armazenamento for uma restrição. Para agilizar o uso desta receita, assim como a receita HENS no Earth2Studio, aspectos complexos da execução dos conjuntos já foram resolvidos. Controlar o comportamento equivale a especificar uma configuração:

Com essa nova receita, os especialistas em domínio agora podem gerar grandes previsões de conjunto do HENS FourCastNet V2 (SFNO) e DLESyM para entender e validar a habilidade desses modelos. Por exemplo, você pode explorar como a incerteza de previsão é orientada por perturbações nas condições iniciais ou pesos de ponto de verificação de modelo alternativo. Isso permite que você gere um conjunto hábil e calibrado de previsões subsazonais. Isso forma a base a partir da qual você pode explorar estratégias adicionais para a calibração ideal da previsão de IA em escalas de tempo S2S.

Como exemplo demonstrativo, a receita pode ser usada para gerar previsões S2S para a onda de calor do noroeste do Pacífico de 2021, que são mostradas na Figura 1. Este evento sem precedentes foi notável na intensidade e duração do calor extremo e difícil de prever em escalas de tempo S2S, de acordo com o artigo Western North American Heatwave and Its Subseasonal Predictions de 2021 publicado na Geophysical Research Letters. Embora nenhum modelo capture perfeitamente a localização e a intensidade da onda de calor, podemos ver que todos os modelos começaram a prever algum nível de anomalia quente na América do Norte com até três semanas de antecedência, com precisão variando entre HENS-SFNO, IFS ENS e DLESyM.

Four maps comparing ECMWF IFS and earth2studio forecast models evaluated on S2S timescales for the 2021 Pacific Northwest heatwave. The ground truth ERA5 shows extreme heat anomalies centered over western Canada, and each of the IFS, HENS-SFNO, and DLESyM models show warm anomalies in the general vicinity but none fully capture the location and intensity of the event.
Figura 1. Comparação de amostra de previsões S2S médias semanais entre (sentido anti-horário a partir do canto superior esquerdo) IFS ENS (11 membros hindcast, API ECMWF baixada), SFNO-HENS e DLESyM para a onda de calor do noroeste do Pacífico de 2021, juntamente com os dados ERA5 correspondentes na terceira semana das previsões. Todos os modelos preveem algum nível de anomalia quente na América do Norte, mas com esse longo tempo de espera, é difícil capturar a localização exata e a intensidade de um calor tão extremo.

O Que Vem A Seguir?

Acelerar a adoção da IA para previsão S2S requer uma avaliação mais robusta de tais modelos e suas capacidades por especialistas de domínio. Fornecer bibliotecas de código aberto reduz as barreiras à entrada nas habilidades necessárias na frente da IA. Ele também fornece feedback sobre o desenvolvimento futuro de modelos para a comunidade de pesquisa de IA/ML.

A competição AI Weather Quest do Centro Europeu de Previsão do Tempo de Médio Prazo (ECMWF) visa acelerar a participação da comunidade no avanço da previsão S2S. Enquanto os engenheiros da NVIDIA se preparam para participar (ao lado de pesquisadores da Universidade de Washington), estamos trabalhando na composição das ferramentas do Earth-2 com as fornecidas pelo ECMWF para a competição Weather Quest para permitir que a comunidade participe. Isso deve permitir iterações mais rápidas na avaliação de modelos usando o AI-WQ-package do ECMWF diretamente com os dados de previsão gerados no Earth2Studio, juntamente com a capacidade de treinar modelos personalizados no PhysicsNeMo. Essas são as mesmas ferramentas usadas pelas equipes de pesquisa da NVIDIA, e esperamos que compartilhá-las permita que outros pesquisadores iterem rapidamente em suas ideias.

Em geral, a inferência eficiente e a pontuação de grandes previsões de conjuntos S2S são uma parte essencial do processo científico. Avaliar os modelos adequadamente requer pontuar muitas previsões para determinar sua habilidade. Para acelerar esse processo intensivo em recursos, o Earth2Studio agora pode executar e pontuar grandes conjuntos S2S com eficiência. Por exemplo, as previsões de conjunto DLESyM usando vários modelos de atmosfera e oceano em um ano inteiro podem ser executadas e pontuadas em menos de duas horas em oito GPUs.

Consulte a Figura 2 para obter um exemplo desses resultados de pontuação, que também demonstram que o modelo DLESyM tem habilidade S2S competitiva com o ECMWF IFS nas semanas três a cinco, uma forte linha de base física. Estamos lançando esses recursos gerais de pontuação junto com os específicos do AI Weather Quest na receita do S2S no Earth2Studio. Isso fornece aos profissionais uma variedade de meios para avaliar o desempenho dos modelos que estão interessados em experimentar.

A chart comparing DLESyM and IFS ENS for fair CRPS of z500 evaluated in 2018. In weeks three through five, the DLESyM model nearly matches the IFS ENS fCRPS score, and in the second week, it lags behind.
Figura 2. Pontuações CRPS z500 justas de previsões S2S médias semanais avaliadas ao longo de 2018 para os modelos IFS ENS e DLESyM. O DLESyM é competitivo com o IFS em geral, mas fica para trás em habilidade nas primeiras semanas devido à redução da distribuição do modelo.

Principais Takeaways

A previsão S2S é essencial para uma ampla gama de setores sensíveis ao clima. Este post discutiu as principais novas funcionalidades do Earth2Studio para permitir que as empresas avaliem e validem modelos de previsão de IA acoplados atmosfera-oceano pré-treinados, como o DLESyM, para gerar previsões de conjunto.

Aqui estão os recursos para começar:

Saiba mais sobre a plataforma Earth-2 nessas sessões do GTC. Esses recursos fornecem mais insights sobre como as empresas estão usando a IA para gerar grandes previsões de conjunto: