Para ajudar desenvolvedores a construir rapidamente world models (modelos de mundo), que ajudam sistemas de IA física a compreender e simular o mundo real, a NVIDIA expandiu a plataforma Cosmos com novas ferramentas de treinamento, checkpoints de simulação e blueprints do Cosmos Data Factory.
Entre as cinco primeiras em seis rankings diferentes de modelos abertos, a plataforma NVIDIA Cosmos oferece aos desenvolvedores de world models os modelos abertos de fronteira, além de ferramentas e receitas de dados, treinamento e otimização, para escalar dados de treinamento, adaptar modelos, testar comportamento e otimizar para desempenho antes da implantação.
Crie dados de treinamento melhores
Construir world models começa com dados multimodais e multissensoriais.
O NVIDIA Cosmos Data Factory reúne as ferramentas e skills para rotular, curar, aumentar e avaliar dados em escala para o treinamento de IA física. O Cosmos Curator, uma solução acelerada por GPU para curar datasets de treinamento de vídeo, agora adicionou suporte para entradas e blocos de processamento multimodais e multissensoriais.
O Cosmos Data Factory oferece agora os cinco blueprints nativos de nuvem a seguir e está disponível no GitHub, Microsoft Azure, Nebius e CoreWeave:
- Geração de datasets para veículos autônomos: cura e rotula dados de direção e adiciona exemplos sintéticos de cenários difíceis de capturar para ampliar a cobertura do treinamento.
- Aumento de atributos de imagem: varia a aparência de objetos para melhorar a pesquisa de imagens.
- Geração de vídeos de eventos: transforma imagens estáticas em vídeos sintéticos de eventos raros ou perigosos.
- Geração de imagens de defeitos: gera imagens de defeitos em placas de circuito impresso, metal e vidro para modelos de inspeção.
- Aumento de dados de vídeo: altera clima e iluminação em imagens existentes preservando a estrutura da cena.
O Cosmos Data Factory acelera a curadoria de dados, o processamento e a geração de dados sintéticos com skills agênticas.
Empresas já estão aplicando os blueprints do Cosmos Data Factory para acelerar seus fluxos de trabalho de desenvolvimento de IA física.
A Porsche está liderando o desenvolvimento de um flywheel compartilhado de dados para veículos autônomos entre as marcas do Grupo Volkswagen, usando o Cosmos Data Factory por meio do Voxel51 no Microsoft Azure. Isso deve reduzir em até 90% as viagens físicas de teste repetidas e encurtar os ciclos de desenvolvimento em até 85%.
A Porsche pesquisando e aumentando imagens de vídeo de veículos autônomos no Voxel51, com o Cosmos Data Factory.
A ANYbotics gerou mais de 1.500 clipes de vídeo sintéticos com os blueprints do Cosmos Data Factory, curando dados do mundo real e validando saídas com a plataforma da Encord, para treinar seus robôs de inspeção industrial a reconhecer derramamentos de líquidos e outras mudanças entre visitas às instalações.
A ANYbotics gerando clipes de anomalias com a Encord, com o NVIDIA Cosmos Data Factory.
A Ultralytics, empresa de visão computacional, retreinou seu modelo YOLO com imagens reais e defeitos sintéticos direcionados gerados com o Cosmos Data Factory, melhorando a localização e a precisão de detecção de defeitos.
Treine, adapte e otimize modelos
Com os dados de treinamento preparados, os desenvolvedores podem treinar sua própria arquitetura ou partir de um modelo pré-treinado.
No GTC Berlin, a NVIDIA ampliou as ferramentas e receitas de treinamento, otimização e implantação do Cosmos Framework como skills de agentes para mais modelos abertos, juntamente com o Cosmos 3, oferecendo aos desenvolvedores de world models um caminho mais rápido da experimentação à implantação.
Desenvolvedores e agentes agora podem adaptar modelos abertos como GR00T, Alpamayo, QWEN, Pi0.5 e outros modelos compatíveis do Hugging Face por meio de fine-tuning e aprendizado por reforço, otimizar o modelo com destilação e quantização, e implantar com inferência de alto desempenho.
O Cosmos Framework é um framework aberto e modular de ferramentas e skills de treinamento e otimização de modelos para acelerar o desenvolvimento de world models.
Para desenvolver um world model especializado em manipulação egocêntrica, o laboratório de pesquisa em robótica MicroAGI pós-treinou o Cosmos 3 em vídeos de humanos manipulando objetos e destilou seu modelo de 32 bilhões de parâmetros para um modelo Nano de 8 bilhões de parâmetros, sem perda de precisão.
Os desenvolvedores podem rotular dados e pós-treinar o Cosmos 3 na Roboflow para seus ambientes e tarefas específicos e, em seguida, implantar esses modelos em GPUs NVIDIA hospedadas pela Roboflow ou on-premises, levando o raciocínio sobre vídeo para fábricas e armazéns.
Teste políticas e execute modelos mais rapidamente
Paralelamente a essas ferramentas, a NVIDIA continua avançando a tecnologia fundamental por meio de seu trabalho nos modelos Cosmos.
As novas variantes do modelo Cosmos 3 Nano para simulação permitem que os desenvolvedores testem políticas autônomas em cenários repetíveis e difíceis de capturar, com múltiplas visualizações e múltiplos sensores. O código acompanhante permite que os desenvolvedores adaptem os modelos para treinar e avaliar suas próprias políticas para veículos autônomos e robôs bimanuais em simulações interativas antes dos testes no mundo real.
Geração de dados de vídeo multiview e multissensorial para avaliar políticas em simulação de circuito fechado.
Os desenvolvedores podem implantar os modelos Cosmos principais usando os microserviços NVIDIA Cosmos 3 NIM atualizados, que oferecem inferência até 2x mais rápida sem perda de qualidade em configurações validadas, enquanto a análise contínua de vídeo permite alertas em menos de um segundo.
Para desenvolvedores de IA de visão, o novo NVIDIA Metropolis Blueprint para busca e sumarização de vídeo (VSS) 3.3, desenvolvido com base nos microserviços Cosmos NIM, transforma um único prompt em uma aplicação eficiente de IA para vídeo e ajuda equipes a monitorar 40% mais streams de vídeo com a mesma GPU.
A ADNOC usa a plataforma agêntica MistIQ da Fogsphere, desenvolvida com Cosmos e o NVIDIA Metropolis VSS Blueprint, para detectar riscos de segurança em tempo real em 65 sites. Para eventos raros, a Fogsphere também usa o Cosmos Data Factory para gerar dados de treinamento sintéticos, melhorando a detecção sem precisar encenar fisicamente situações perigosas.
A plataforma Cosmos é totalmente modular e aberta. Os desenvolvedores podem usar o Cosmos Data Factory para gerar datasets de treinamento, o Cosmos Framework para treinar e adaptar world models e, em seguida, implantar os modelos Cosmos suportados por meio dos microserviços NIM.