No contexto do aquecimento global, o NVIDIA Earth-2 surgiu como uma plataforma fundamental para a tecnologia climática, gerando insights acionáveis diante dos impactos climáticos extremos cada vez mais desastrosos amplificados pelas mudanças climáticas.
Com o Earth-2, informações acessíveis sobre tempo e clima não estão mais restritas a especialistas em física atmosférica ou dinâmica oceânica. Agora você pode aproveitar tecnologias avançadas para navegar pelas complexidades de nosso clima em mudança com previsão e precisão, orientando empresas, organizações e nações a antecipar riscos climáticos extremos sem precedentes e mitigar os impactos deles.
Este post destaca o abrangente conjunto de ferramentas NVIDIA Earth-2 projetado para treinamento e inferência de modelos de IA, com ênfase no downscaling usando IA generativa.
O downscaling, semelhante ao conceito de super-resolução no processamento de imagens, envolve a geração de dados de maior resolução ou previsões a partir de dados de entrada de baixa resolução. Nosso foco se estende à IA generativa para previsões meteorológicas em escala quilométrica (escala km), abrangendo tudo, desde o treinamento de modelos climáticos globais de IA até a inferência e geração de previsões em escala km.
Finalmente, este post destaca as ferramentas de software que impulsionam essa revolução dos gêmeos digitais da Terra, ajudando você a alavancar técnicas de IA generativa para realizar previsões meteorológicas precisas e econômicas usando ferramentas de IA do Earth-2.
Resolvendo a Necessidade de Previsões Meteorológicas Econômicas em Escala de Km
Com o avanço impulsionado pela IA do NVIDIA Earth-2, o cenário da simulação climática mudou significativamente, democratizando o acesso às informações meteorológicas e climáticas.
O Earth-2 catalisará a tomada de decisões proativas, orientando empresas, organizações e nações na resposta a cenários hipotéticos e antecipando condições climáticas sem precedentes para permitir resultados acionáveis, abrangendo formulação de políticas, desenvolvimento urbano e planejamento de infraestrutura.
Prever com precisão os perigos climáticos iminentes requer simulações dispendiosas em resoluções de escala km. O mesmo vale para prever futuros riscos climáticos.
O uso de métodos tradicionais de simulação para atingir a escala km torna os modelos muito grandes, complexos e computacionalmente caros. Além disso, o tempo e o clima são sistemas caóticos que são inerentemente incertos e requerem um grande conjunto de previsões, chamadas conjuntos, para prever probabilidades de resultados futuros.
A resolução da simulação é compensada com o tamanho do conjunto. Isso limita a gama de perigos que podem ser amostrados para informar o planejamento. No entanto, uma solução econômica está em modelos estocásticos de redução de IA.
No coração da plataforma Earth-2, a NVIDIA oferece uma nova abordagem baseada em IA generativa e modelagem de diffusion em duas etapas para reduzir dados climáticos com alta fidelidade chamado CorrDiff.
Previsão de Detalhes Meteorológicos em Escala Fina com Corrdiff
Desenvolvido por equipes pioneiras de pesquisa e tecnologia de desenvolvedores da NVIDIA, o CorrDiff introduz uma abordagem de modelo diffusion de corretor que promete redefinir a previsão do tempo em resoluções de escala km.
Em sua essência, o CorrDiff aproveita o poder do aprendizado generativo para enfrentar o desafio de prever detalhes em escala fina de fenômenos climáticos extremos com precisão e eficiência sem precedentes.
O método do CorrDiff isola efetivamente o aprendizado generativo em escalas de comprimento mais curtas, permitindo previsões habilidosas de detalhes em escala fina de fenômenos climáticos extremos. Por exemplo, você pode começar com previsões em uma resolução de 25 km e querer gerar previsões em uma resolução de 2 km.
O principal desafio é prever os detalhes que faltam nas previsões de resolução grosseira para torná-las mais precisas e detalhadas, assemelhando-se aos dados de resolução mais fina e incluindo a estrutura espacial coerente dos extremos climáticos.
O CorrDiff funciona em duas etapas principais. Primeiro, um modelo de regressão prediz a média do campo de resolução fina. Então, na segunda etapa, o CorrDiff refina esse palpite adicionando os detalhes ausentes que não foram capturados na previsão inicial, permitindo que ele corresponda melhor à realidade.
Crucialmente, porque esta é uma abordagem de IA generativa, o CorrDiff pode sintetizar novos campos de resolução fina que não estão presentes nos dados de entrada de resolução grossa. A amostragem inerentemente estocástica de modelos diffusion também permite a geração de muitos estados de resolução fina possíveis correspondentes a uma única entrada de resolução grosseira, fornecendo uma distribuição de resultados e uma medida de incerteza.
A ideia por trás do CorrDiff é que é mais fácil aprender as correções necessárias para melhorar um palpite inicial do que aprender diretamente os detalhes de resolução fina do zero. Ao dividir o problema nas etapas de regressão e difusão, o CorrDiff pode efetivamente aproveitar as informações disponíveis nas previsões de resolução grosseira para gerar previsões mais precisas e detalhadas na resolução mais fina.
No geral, o CorrDiff oferece uma abordagem prática para melhorar a resolução de previsões meteorológicas, sintetizar novas variáveis e fornecer um conjunto de estados, aproveitando dados e modelos de resolução grossa existentes para produzir previsões mais detalhadas e precisas para regiões específicas, neste caso, Taiwan. Essa praticidade é ressaltada por sua notável eficiência, sendo ordens de grandeza mais rápidas e energeticamente mais eficientes do que os métodos convencionais.
CorrDiff também pode sintetizar saídas que podem não estar disponíveis no vetor de entrada, mas são hipotetizadas para correlacionar com entradas. Isso significa que os usuários com seus próprios conjuntos de dados podem treinar equivalentes personalizados do CorrDiff para seus próprios casos de uso, expandindo a aplicabilidade e a utilidade do CorrDiff em diversos conjuntos de dados e cenários.
Kits de Ferramentas de Software NVIDIA Earth-2 para Modelos Meteorológicos de IA
O NVIDIA Earth-2 oferece um conjunto de poderosas ferramentas de tecnologia climática para treinamento e inferência de modelos meteorológicos de IA, incluindo NVIDIA Modulus e Earth2Studio.
Treinamento de Modelos Climáticos de IA no NVIDIA Modulus
Para treinar modelos meteorológicos de IA, você pode usar o NVIDIA Modulus, uma plataforma de machine learning (física-ML) de código aberto informada pela física.
O NVIDIA Modulus capacita engenheiros a construir modelos substitutos de IA que fazem previsões realistas rivais e capazes de superar as de modelos de previsão baseados em física. O Modulus fornece arquiteturas treináveis dos principais modelos globais de previsão do tempo por IA, modelos de diagnóstico para derivar variáveis adicionais de uma previsão e CorrDiff para downscaling.
O Modulus também inclui funcionalidade para criar pipelines de treinamento, como carregadores de dados para os tipos de dados mais comuns. Esses recursos são combinados em workflows de exemplo para treinar modelos de IA para a atmosfera. Os componentes do Modulus são projetados desde o início para aproveitar GPUs de forma otimizada e dimensionar para grandes configurações de treinamento.
Para cada modelo de IA atmosférica, o Modulus inclui um exemplo de um workflow para treinar o respectivo modelo em um conjunto de dados adequado. Atualmente, o Modulus implementa vários modelos de previsão:
- FourCastNet (FCN), nosso modelo climático global baseado em IA baseado na arquitetura do Operador Neural Esférico de Fourier.
- Uma rede neural de grafos icosaédricos (GNN) hierárquica e icosaédrica análoga ao GraphCast.
- DLWP-HEALPix, um método de previsão de IA fisicamente inspirado com uma grade de área igual, baseado em DLWP, que foi o primeiro modelo de previsão global a demonstrar habilidade de previsão competitiva subsazonal a sazonal.
- Outros modelos como Pangu-Weather, FengWu e SwinVRNN, construídos em arquiteturas de transformadores de visão, seguirão.
Para obter mais informações e acesso, consulte o repositório GitHub /NVIDIA/modulus.
Tais modelos de previsão do tempo global preveem um conjunto de variáveis na superfície e nos níveis de pressão que são necessários para progredir o estado atmosférico no tempo.
Muitas vezes, você pode estar interessado em variáveis que não estão incluídas no modelo global, como precipitação ou outras variáveis de fluxos de dados personalizados hipotetizados como previsíveis a partir do backbone do modelo climático global.
Os modelos diagnósticos não avançam o estado atmosférico no tempo, mas derivam as quantidades desejadas com base nas existentes ao mesmo tempo. Combinando um modelo de diagnóstico e um modelo de previsão, você pode prever variáveis adicionais sem reciclar o último.
O Modulus também inclui métodos para treinar modelos de diagnóstico no conjunto de variáveis necessárias para o seu caso de uso. Para experimentar modelos de diagnóstico, consulte o ponto de verificação de um modelo que prevê precipitação.
Inferência de Modelos Climáticos de IA Através do Earth2Studio
Para permitir que desenvolvedores e pesquisadores experimentem, construam e personalizem workflows de inferência climática e meteorológica de IA, o NVIDIA Earth-2 desenvolveu um pacote Python de código aberto Earth2Studio. Este pacote estará disponível na versão NVIDIA Modulus 24.04.
O Earth2Studio destina-se a servir modelos comumente usados, fontes de dados, métodos de perturbação, módulos de E/S e muito mais que são necessários para uma ampla variedade de workflows de inferência, ao mesmo tempo em que facilita a extensão e a personalização.
Você terá acesso à API de fonte de dados online pública comum pronta para uso, incluindo o seguinte:
Uma coleção de modelos pré-treinados está acessível no Earth2Studio, com mais a seguir, como ponto de partida para a integração de modelos climáticos de IA para o seu caso de uso:
- FourCastNet
- Módulo GraphCast
- Stock-Clima
- LWP
Os pontos de verificação estão prontamente disponíveis no Catálogo NGC, como o FCN, e o Earth2Studio inclui rotinas para fazer download automaticamente e armazená-los em cache em seu dispositivo. Alguns modelos são carregados de fontes externas, como os pontos de verificação PanguWeather hospedados no ECMWF.
Earth2Studio visa permitir que você crie seus próprios workflows personalizados para inferenciar modelos de previsão e diagnóstico com pouco esforço. Ele inclui um conjunto de workflows comuns para previsão e validação determinística e baseada em conjunto pronta para uso com apenas algumas linhas de código.
O exemplo de código a seguir mostra como produzir uma previsão determinística com apenas oito linhas de código everaging o modelo FourCastNet através do Earth2Studio.
from earth2studio.models.px import FCNfrom earth2studio.data import GFSfrom earth2studio.io import ZarrBackendimport earth2studio.wf_simple as wf # Load FourCastNet pretrained modelmodel = FCN.load_model(FCN.load_default_package())# Create the data sourcedata = GFS ()# Create the Zarr IOio = ZarrBackend()# Run 20 steps of inferenceoutput_datastore = wf.run([ “2024-01-01” ], 20, model, data, io) |
A Figura 1 mostra o campo total de vapor d’água da coluna produzido na última etapa de tempo da previsão.
Treinamento CorrDiff em NVIDIA Modulus
Este exemplo demonstra a super-resolução e a nova síntese de canais, treinando o CorrDiff para converter dados ERA5 a 25 km em torno de Taiwan.
Os dados foram gerados pela Administração Central de Meteorologia (CWA) em Taiwan usando um modelo de previsão numérica do tempo regional de alta resolução. O conjunto de dados está disponível para uso não comercial sob a licença CC BY-NC-ND 4.0 e pode ser feito o download do NGC. Para obter mais informações sobre instruções específicas para treinar o modelo, consulte a seção Introdução no repositório /NVIDIA/modulus no GitHub.
Um dos principais benefícios do NVIDIA Modulus, além da facilidade de uso, é a otimização de desempenho. O treinamento do CorrDiff atualmente requer de 2 a 3K horas de GPU em GPUs NVIDIA A100 ou NVIDIA H100, e a equipe do CorrDiff está trabalhando para otimizar ainda mais o procedimento de treinamento. Uma amostra de super-resolução pode ser gerada em hardware semelhante em questão de segundos.
Inferindo o Corrdiff Através do Modulus
O mesmo exemplo de CorrDiff também contém scripts de inferência para gerar amostras condicionais de clima de alta resolução com base no condicionamento ERA5 de baixa resolução (entradas a 25 km).
Para obter mais informações sobre instruções para gerar amostras e salvá-las em um arquivo NetCDF, consulte o repositório /NVIDIA/modulus no GitHub. A execução da inferência requer ter pontos de verificação do módulo para o modelo de regressão e difusão. Esses pontos de verificação são salvos como parte do pipeline de treinamento.
Para obter mais informações e acesso, consulte o pacote de inferência CorrDiff no catálogo NGC.
Rastreamento de Tempestade sobre Taiwan
Como exemplo dos casos de uso da CorrDiff para problemas climáticos extremos, apresentamos os desafios do rastreamento de tempestades sobre Taiwan.
Embora os modelos globais de previsão de IA se destaquem na previsão de rastros de tempestades, sua eficácia é prejudicada por sua resolução limitada de 25 km, que não consegue capturar os detalhes de escala fina que geralmente contêm os ventos mais fortes e a precipitação crítica para danos relacionados a tempestades.
Com uma resolução de 25 km, a estrutura dos tufões nos dados de entrada do ERA5 é frequentemente mal resolvida, resultando em representações imprecisas de seu tamanho e intensidade. Também estão faltando detalhes espaciais importantes na parede do olho e faixas de chuva relacionadas a riscos físicos.
Taiwan, conhecida como um dos locais mais úmidos do mundo, com uma precipitação anual de 2.600 mm, aproximadamente 3 vezes a média mundial, enfrenta um custo médio anual de desastre de US$ 650 milhões. Este encargo financeiro é causado por tufões sazonais que levam chuvas substanciais para a ilha, resultando em inundações extensas que danificam vidas e propriedades e exigem esforços de evacuação em grande escala.
O risco de desastre é considerado como a combinação da gravidade e frequência de um perigo, o número de pessoas e ativos expostos ao perigo e sua vulnerabilidade a danos. A Figura 3 mostra um esquema do IPCC em seu sexto relatório de avaliação de 2022 sobre impactos, adaptação e vulnerabilidade.
O Centro Nacional de Ciência e Tecnologia de Taiwan para Redução de Desastres (NCDR) descreve uma abordagem de quatro fases para a resposta a tufões (Figura 4).
As duas primeiras fases, Iniciação e Preparação, concentram-se na análise de riscos e emissão de alertas de desastres. As fases 3 e 4, Resposta e Recuperação, são dedicadas ao monitoramento do desastre e à implementação de medidas de resposta.
A tecnologia NVIDIA pode enfrentar esses desafios.
Os aprimoramentos da previsão do tempo por IA têm o potencial de melhorar a análise de risco durante as fases 1 e 2. Ao melhorar a tecnologia de previsão do tempo, especificamente por meio de maior resolução e conjuntos maiores, podemos avaliar de forma mais abrangente os riscos de exposição.
O CorrDiff, o inovador modelo diffusion de IA generativa da NVIDIA, é treinado em dados WRF incorporados por radar de alta resolução fornecidos pelo Taiwan CWA e dados de reanálise ERA5 provenientes do Centro Europeu de Previsões Meteorológicas de Médio Alcance.
Através do CorrDiff, as previsões de fenómenos meteorológicos extremos, como tufões, podem ser significativamente melhoradas de uma resolução de 25 km para uma resolução de 2 km.
Neste post, demonstramos que, ao reduzir o ERA5 de 25 km para 2 km, podemos explorar muitos outros cenários de previsão locais com o objetivo de fornecer uma imagem clara dos melhores casos, piores e mais prováveis impactos de uma tempestade.
Avaliar a incerteza é crucial. No entanto, há um compromisso entre o número de membros de previsão do conjunto e sua resolução, dados os recursos computacionais finitos. O NCDR produz previsões que compreendem aproximadamente 200 membros do conjunto com resoluções variadas.
A introdução de tecnologias de IA de ponta, como o CorrDiff, marca uma transformação significativa. Ele oferece a capacidade de escalar até milhares de membros para previsão de conjunto quase em tempo real em apenas um único nó de GPU.
Citando o potencial transformador do modelo CorrDiff de IA generativa da NVIDIA, Chia-Ping Cheng, administrador da Taiwan CWA, enfatiza sua capacidade de revolucionar a previsão do tempo. Cheng destacou como o CorrDiff permite a geração de previsões meteorológicas em escala quilométrica, capacitando a sociedade a antecipar características detalhadas de eventos climáticos extremos com precisão sem precedentes, ajudando assim nos esforços de mitigação de desastres.
Ecoando isso, Hongey Chen, diretor do Centro Nacional de Ciência e Tecnologia para Redução de Desastres em Taiwan, ressalta a importância da CorrDiff em abordar os impactos diversos e sem precedentes de desastres naturais. Chen destaca o CorrDiff como uma solução criativa para garantir a segurança pública.
Democratizando a IA para Clima e Habilitando a Tecnologia Climática
Em resumo, o NVIDIA Earth-2 democratiza o acesso à informação meteorológica e incorpora uma iniciativa moderna para estender o alcance da ciência climática para além da academia, tornando-a facilmente acessível a formuladores de políticas, empresas, jornalistas e ao público em geral.
O CorrDiff, o modelo de downscaling baseado em IA generativa de ponta da NVIDIA, é promissor para vários setores:
- Em serviços financeiros, o CorrDiff pode capacitar os usuários a tomar decisões informadas sobre avaliação de risco e gerenciamento de ativos.
- No setor de energia, os recursos precisos de downscaling do CorrDiff podem permitir uma melhor alocação de recursos e planejamento de infraestrutura, cruciais para otimizar a produção e distribuição de energia.
- As agências governamentais podem se beneficiar do CorrDiff para melhorar a preparação e os esforços de resposta a desastres.
- Usuários individuais podem sentir o impacto do CorrDiff por meio de previsões meteorológicas mais precisas e localizadas para planejamento e segurança diários.
Com sua notável adaptabilidade e eficiência, o CorrDiff pode ajudar insights acionáveis e previsões precisas para capacitar todos nós na construção de um mundo mais resiliente.