Nota do editor: Este post faz parte da série Into the Omniverse, focada em como desenvolvedores, profissionais de 3D e empresas podem transformar seus fluxos de trabalho com os mais recentes avanços em OpenUSD e NVIDIA Omniverse.
Em julho, a NVIDIA se juntou a mais de 200 empresas e organizações ao assinar “Open Weights and American AI Leadership“, uma carta aberta argumentando que a liderança em IA será medida não por um único modelo de fronteira, mas pela capacidade de um ecossistema aberto de alcançar todos os setores.
Modelos abertos, que qualquer pessoa pode baixar, inspecionar, modificar e executar em sua própria infraestrutura, são o que torna isso possível. Em nenhum lugar isso é mais crucial do que na IA física, onde cada implantação é um problema de especialização.
A IA física precisa compreender e prever consequências, não apenas aparências.
Para tornar isso possível, os modelos de mundo aprendem como os ambientes físicos se comportam, o que pode acontecer em seguida e quais ações subsequentes fazem sentido. Eles podem gerar dados de mundo e de ação fundamentados fisicamente, simular estados futuros e fornecer uma base que as equipes podem especializar para um robô, veículo autônomo ou sistema de visão de IA.
Modelos de mundo abertos já estão sendo usados para gerar dados de treinamento, testar políticas e especializar sistemas de IA física. O NVIDIA Cosmos 3 reúne essas capacidades em uma família de modelos abertos, com resultados de benchmark líderes e adoção em robótica, veículos autônomos e visão de IA.
As bibliotecas do NVIDIA Omniverse, parte do NVIDIA Agent Toolkit, oferecem capacidades pré-construídas para criar mundos prontos para simulação que equipes de IA física podem usar para treinar, testar e validar sistemas antes da implantação no mundo real.
Modelos De Mundo São A Fundação Da IA Física
Os dados por trás da IA física são difíceis e caros de coletar na escala necessária. Eventos raros e cenários de longa cauda podem ser especialmente difíceis de reproduzir de forma segura e repetida.
Os modelos de mundo permitem:
- Dados mais úteis ao aprender relações físicas a partir de cenários multimodais em grande escala.
- Ambientes mais diversos, variando em condições climáticas, iluminação, objetos e trajetórias.
- Uma base melhor para desenvolver e adaptar a um robô específico, veículo, configuração de sensores, tarefa ou ambiente operacional.
Um modelo geral não conhece o robô específico de uma equipe, seus sensores ou ambiente operacional. Superar essa lacuna exige acesso aos pesos do modelo, uma licença que permita adaptação e as ferramentas necessárias para pós-treinamento.
Os modelos de mundo fundacionais NVIDIA Cosmos estão disponíveis sob a licença OpenMDW 1.1 da Linux Foundation, permitindo que as equipes façam pós-treinamento com seus próprios dados e hardware. A especialização é onde a abertura se torna um requisito técnico prático.
Especializar um modelo é apenas parte do fluxo de trabalho. As equipes também precisam de ambientes para gerar dados, executar simulações e testar comportamentos.
As bibliotecas do Omniverse ajudam os desenvolvedores a criar ambientes prontos para simulação, enquanto o OpenUSD fornece o framework aberto para compor, reutilizar e trocar dados 3D complexos em fluxos de trabalho de gêmeos digitais, simulações e geração de dados sintéticos. Juntos, o Omniverse e o OpenUSD reduzem o trabalho duplicado que pode se acumular toda vez que ativos, configurações de sensores ou condições ambientais mudam.
Cosmos 3: O Modelo De Fronteira
O NVIDIA Cosmos 3, um omni-model de fronteira e aberto para IA física, construído sobre uma arquitetura mixture-of-transformers, combina raciocínio visual, geração de mundo e previsão de ação. Isso permite que os desenvolvedores usem uma única família de modelos para compreender cenas, gerar dados sintéticos, simular estados futuros e criar modelos de ação de mundo especializados.
Os desenvolvedores podem usar o Cosmos 3 como um modelo de linguagem e visão, como um simulador de mundo fundamentado em física que prevê estados futuros e gera dados sintéticos em larga escala, ou como a base para modelos de ação de mundo, em vez de montar e manter um modelo separado para cada capacidade.
A família inclui o Cosmos 3 Super (64B) para modelagem de mundo de alta fidelidade, o Cosmos 3 Nano (16B) para raciocínio eficiente e pós-treinamento, e o Cosmos 3 Edge (4B) para raciocínio visual on-device e implantação de políticas robóticas. Leve o suficiente para rodar em GPUs de edge, o Cosmos 3 Edge pode ser implantado em GPUs NVIDIA RTX, sistemas NVIDIA DGX e NVIDIA Jetson, incluindo plataformas Jetson Thor.
Nas avaliações de benchmark, o Cosmos 3 ocupa a primeira posição na Artificial Analysis para geração de texto para imagem e de imagem para vídeo com pesos abertos, no PAI-Bench para geração de mundo e na categoria imagem para vídeo do Physics-IQ. Para política robótica, está em primeiro no RoboLab. O Cosmos 3 Super também é o modelo aberto mais bem classificado no VANTAGE-Bench para compreensão visual.
Além do Cosmos, a pilha de IA física da NVIDIA inclui o Isaac GR00T para robótica, o Alpamayo para veículos autônomos e o Metropolis para visão de IA.
Como Os Desenvolvedores Estão Usando O Cosmos 3
Em diversas indústrias, desenvolvedores estão construindo sobre o NVIDIA Cosmos para aplicações de IA física: Doosan Robotics, LG Electronics, Samsung Electronics e Skild AI em robótica; Li Auto, Xiaomi e Afari em veículos autônomos; e Centific, Fogsphere, Linker Vision, Milestone Systems e Yuan para agentes de visão de IA que impulsionam aplicações de IA industrial e espaços inteligentes.
A NVIDIA Cosmos Coalition amplia esse trabalho reunindo criadores de modelos de mundo, desenvolvedores de IA e líderes de IA física para contribuir com modelos, pesquisas e métodos de avaliação. A NVIDIA recentemente expandiu a coalizão para o Japão, onde líderes de robótica e manufatura pretendem desenvolver modelos de mundo abertos para fábricas, logística, agricultura, construção, saúde e transporte.
Em conjunto, essas implementações e colaborações estão estabelecendo os modelos de mundo abertos como uma base adaptável para a IA física em robôs, veículos autônomos e sistemas de visão de IA.
Conecte-Se
Saiba mais sobre modelos de mundo, OpenUSD e desenvolvimento de IA física:
- Explore a coleção de modelos abertos do Cosmos 3 no Hugging Face e no GitHub.
- Leia o relatório técnico do Cosmos 3 com detalhes completos de arquitetura e avaliações.
- Leia o blog técnico do Cosmos 3.
- Acompanhe as transmissões ao vivo do Cosmos Labs.
- Saiba mais sobre a NVIDIA Cosmos Coalition.