Preparar assets de CAD para simulação robótica exige mais do que converter geometria para OpenUSD: os desenvolvedores precisam configurar e validar materiais, geometria de colisão, juntas e outras propriedades de física antes de testar o comportamento do robô.
As bibliotecas NVIDIA Omniverse, orientadas pelas especificações do SimReady Foundation e pelas skills da NVIDIA baseadas em agentes, oferecem um fluxo estruturado para converter e validar assets prontos para simulação (SimReady). Modelos de IA de fronteira ajudam os desenvolvedores em cada etapa, ao interpretar material de referência e chamar as ferramentas do Omniverse em seu nome, o que reduz a preparação manual.
Este post percorre a preparação de um robô ABB Robotics YuMi para simulação, com o SimReady Foundation e as ferramentas NVIDIA Omniverse, usando o GPT-6 Astra como um exemplo de modelo de IA de fronteira que pode auxiliar no processo. O fluxo tem cinco etapas: conversão do arquivo STEP, validação de aparência, configuração de física, validação SimReady e, por fim, uma tarefa de pick-and-place com os dois braços e as duas garras no NVIDIA Isaac Sim.
O Que É SimReady e Por Que Isso Importa para Simulação?
O SimReady define requisitos para preparar assets OpenUSD para casos de uso específicos de simulação. Os desenvolvedores escolhem um perfil SimReady para a aplicação pretendida e validam o asset contra os requisitos desse perfil. As checagens específicas de cada perfil validam a estrutura, os materiais e as propriedades de física do asset, e então apontam os problemas para os desenvolvedores corrigirem e checarem de novo.
Um modelo de robô pode parecer correto e ainda assim falhar na simulação, se estiver sem as propriedades de simulação. Por exemplo: a falta de geometria de colisão pode deixar objetos atravessarem a garra, e juntas incorretas podem impedir o movimento coordenado. Propriedades de simulação como massa e atrito afetam diretamente se a preensão se mantém estável.
As tecnologias e ferramentas a seguir sustentam esse fluxo:
- OpenUSD representa geometria, estrutura de montagem, materiais e propriedades de simulação em uma representação comum de asset.
- SimReady Foundation fornece as especificações e a orientação de validação para preparar assets prontos para simulação.
- Bibliotecas NVIDIA Omniverse oferecem os recursos que desenvolvedores e agentes usam para converter, inspecionar e preparar conteúdo OpenUSD.
- NVIDIA Isaac Sim oferece o ambiente para configurar física e testar o comportamento do robô.
- Skills de agente de IA do NVIDIA Omniverse, como a skill CAD-to-SimReady, guiam os agentes pela conversão do asset, pela atribuição de material e de física, e pela validação.
Fluxo SimReady para Robótica: Um Exemplo com o Robô ABB YuMi
Este passo a passo demonstra o fluxo SimReady de cinco etapas usando um robô ABB YuMi. O GPT-6 Astra aparece aqui como um exemplo de modelo de IA de fronteira capaz de ajudar a escrever o código Python que chama as bibliotecas NVIDIA Omniverse em cada etapa, mas o fluxo se aplica a muitos modelos e sistemas robóticos.
O exemplo usa os dois braços e as duas garras, configurados ao longo do fluxo. Cubos e um marcador Sharpie foram usados como demonstração na etapa 5. A percepção por câmera pode ser acrescentada em um fluxo separado.
Antes de começar:
- Instale o Isaac Sim
- Crie uma pasta dentro do diretório do Isaac Sim e chame-a de
reference. Essa pasta vai guardar os assets relevantes do fluxo. - Coloque nela as especificações do robô e os arquivos STEP, que estão na página do robô YuMi na ABB, e as imagens e vídeos de referência, detalhados na tabela abaixo.
- Crie uma pasta dentro do diretório do Isaac Sim e chame-a de
- Instale o seu modelo de IA de fronteira
- Neste exemplo de fluxo, usamos o GPT-6 Astra.
- Abra o Codex CLI dentro do diretório do Isaac Sim
- É importante abrir o Codex dentro do diretório do Isaac Sim, para que o agente encontre as skills necessárias ao fluxo.
Neste exemplo de fluxo, usamos o Isaac Sim 6.1 e o Codex CLI, e abrimos o Isaac Sim em modo janela.
Use o prompt de exemplo a seguir no Codex CLI aberto, para iniciar o Isaac Sim:
Inicie o Isaac Sim em modo janela, com o servidor Python remoto habilitado. Use um terminal novo para isso.
Original em inglês:
Start Isaac Sim in windowed mode with the remote Python server enabled. Use a fresh terminal for this.O servidor Python remoto do Isaac Sim permite que o seu agente converse via Python com a aplicação Isaac Sim em execução. Confirme que a conexão funciona antes de seguir.
Em cada etapa, adapte o prompt de exemplo à sua tarefa no agente de IA de fronteira, depois revise os resultados da simulação e o retorno da validação para identificar problemas e refinar o asset.
1. Importe o Robô a Partir dos Arquivos STEP
Como primeira etapa do fluxo, vamos importar o robô a partir dos arquivos STEP que estão na pasta reference.
Para este exemplo, coloque as entradas a seguir na pasta reference, dentro do diretório do Isaac Sim:
| Entrada de exemplo | Para que serve |
|---|---|
| Arquivos STEP do robô ABB Robotics YuMi, disponíveis na página do produto. | Geometria de origem para a conversão em OpenUSD. |
| Imagens e vídeos de referência da ABB Robotics. | Orientar a aparência do asset e a atribuição de materiais. |
| Repositório de especificação do SimReady Foundation. O Isaac Sim 6.1 já vem com o simready-foundation-tier-core. | Fornecer os requisitos do robô, as skills relacionadas e a orientação de validação. |
| Skill CAD-to-SimReady. | Orientar a conversão de CAD, a atribuição de material e de física e a validação SimReady. |
Observação: o Isaac Sim 6.1 já vem com o simready-foundation-tier-core.
Peça ao agente que use as entradas fornecidas para guiar a conversão em OpenUSD e a importação no Isaac Sim.
Prompt de exemplo:
Use os arquivos STEP da pasta reference e a skill CAD-to-SimReady (https://github.com/NVIDIA/skills/tree/main/skills/omniverse-cad-to-simready) e importe o robô no Isaac Sim. Importe também as duas garras e posicione cada uma no ponto de montagem correto nos braços do robô.
Original em inglês:
Use the STEP files in the reference folder and CAD-to-SimReady skill (https://github.com/NVIDIA/skills/tree/main/skills/omniverse-cad-to-simready) and import the robot into Isaac Sim. Make sure you also import both grippers and position them at the correct mounting points on the robot's arms.
Figura 1. Robô YuMi e garras importados no Isaac Sim depois da conversão de STEP para OpenUSD com a skill CAD-to-SimReady
Skills da NVIDIA usadas: omniverse-cad-to-simready, omniverse-cad-to-usd e isaac-sim-remote
Confira antes de seguir: o asset do robô está importado e disponível para inspeção. A tarefa e os requisitos fornecidos estão compreendidos, e as informações que faltam estão identificadas.
2. Ajuste a Aparência Visual
A etapa seguinte é inspecionar o robô importado para confirmar que os materiais e as texturas esperados estão presentes e carregaram corretamente. Compare o asset com as imagens e os vídeos fornecidos pela ABB para checar escala, orientação e posicionamento das peças.
Peça ao agente que acrescente ou refine materiais e texturas com base nessas referências.
Prompt de exemplo:
Use as imagens e os vídeos da ABB que estão na pasta reference para aproximar a aparência do robô importado da do robô físico. Acrescente ou ajuste materiais e texturas, e relate qualquer divergência visual ou informação de referência que esteja faltando.
Original em inglês:
Use the ABB images and videos in the reference folder to match the imported robot's appearance to the physical robot. Add or adjust materials and textures, and report any visual discrepancies or missing reference information.
Figura 2. Asset do YuMi preparado com o Astra, à esquerda, ao lado da imagem de referência da ABB Robotics, à direita
Premissas: o agente aproxima visualmente os materiais do robô ajustando cores, resposta metálica e rugosidade, e preserva a geometria de CAD e as transformações de montagem. Os ajustes de material foram estimativas visuais, sem reconstrução de material medida nem texturas geradas por IA.
Skills da NVIDIA usadas: isaac-sim-remote e usd-pipeline
Confira antes de seguir: o robô tem a escala, a orientação, as peças e a aparência esperadas. Materiais ou texturas ausentes e outras divergências visuais estão documentados.
3. Configure as Propriedades de Física
Neste ponto, o asset OpenUSD contém a geometria visual do robô, mas juntas, corpos rígidos e geometria de colisão ainda não foram configurados. Peça ao agente que configure e valide as propriedades de física dos dois braços e das duas garras. O datasheet que está na pasta reference é usado pelo agente para garantir que as amplitudes de movimento das juntas e os limites de velocidade correspondam ao robô simulado.
Se o dado do fabricante estiver incompleto, você pode pedir ao agente que identifique os parâmetros ausentes e consulte manuais técnicos ou descrições URDF disponíveis para o modelo exato. Quando as propriedades de massa continuarem indisponíveis, estime-as a partir da geometria, com premissas documentadas de densidade ou de distribuição de massa, conforme a orientação de propriedades de massa da NVIDIA. Por exemplo: sem contexto suficiente, observamos o agente buscar um URDF público do robô e usar esse arquivo para identificar os eixos corretos das juntas e a configuração zero.
Prompt de exemplo:
Faça o rigging da física e valide as propriedades de física dos dois braços e das duas garras do YuMi. Verifique definições de junta, eixos e limites, massa e inércia, geometria de colisão, montagem da base e movimento da garra.
Original em inglês:
Rig the physics and validate the physics properties for both YuMi arms and grippers.
Check joint definitions, axes and limits, mass and inertia, collision geometry, base mounting, and gripper motion.
Figura 3. Configuração de física do YuMi com geometria de colisão e eixos de junta, durante a etapa 3
A pose inicial pode variar.
Figura 4. Poses do YuMi depois da configuração de física
Premissas de simulação neste fluxo:
- Configuração de junta: o agente buscou um URDF público do robô e o usou para identificar os eixos de junta e a configuração zero.
- Massa por link: estimada a partir dos volumes da geometria STEP e normalizada pelos totais especificados pelo fabricante: 38 kg para o robô e 0,28 kg para cada garra.
- Centros de massa e inércia: calculados assumindo peças maciças de densidade uniforme. Motores internos, caixas de engrenagem e cabeamento não foram modelados individualmente.
- Propriedades de contato: assumiu-se atrito estático de 0,8, atrito dinâmico de 0,6 e restituição zero.
- Geometria de colisão e aparência: formas de colisão convexas, rugosidade de superfície e resposta de material foram aproximadas.
- Calibração: esses parâmetros não foram calibrados contra medições de um YuMi físico.
Skills da NVIDIA usadas: usd-articulation, physics-simulation, isaac-sim-validator e isaac-sim-remote
Confira antes de seguir: as juntas se movem em torno dos eixos esperados e dentro de seus limites. A montagem da base e o movimento da garra se comportam conforme configurado. As propriedades estimadas e eventuais falhas de validação estão documentadas.
4. Valide as Propriedades SimReady
A etapa seguinte é validar o asset OpenUSD do robô contra os requisitos SimReady da tarefa de simulação pretendida. Peça ao agente que execute as checagens escolhidas do SimReady Foundation, revise os achados e ajuste o asset conforme necessário.
Prompt de exemplo:
Valide o asset final do YuMi no Isaac Sim. Localize a validação de asset SimReady para robô e aplique o schema SimReady (https://github.com/nvidia/simready-foundation) ao arquivo usd, usando as skills relacionadas desse repositório.
Original em inglês:
Validate the final YuMi asset in Isaac Sim.
Find the SimReady asset validation for a robot, and apply the SimReady schema (https://github.com/nvidia/simready-foundation) to the usd file, use any related skills in that repo.Resultados da validação neste fluxo:
- SimReady Foundation: as unidades, as dependências de asset, a geometria, os materiais, os corpos rígidos, as juntas, os drives e a articulation do asset do YuMi foram checados contra os requisitos do SimReady Foundation.
- Checagens de asset do Isaac Sim: escala, orientação, posicionamento de peças, montagem da garra, cobertura de material e dependências de textura resolvidas foram verificadas pelo motor de validação dentro do Isaac Sim.
- Massa e inércia: os 21 corpos rígidos tinham massas positivas e tensores de inércia fisicamente admissíveis, e os valores de runtime bateram com os valores declarados.
- Juntas: foram checados eixos, frames, limites, drives, comportamento mimic dos dedos e montagem de base fixa.
- Comportamento em runtime: movimento de braço e de garra, contato, liberação e colisões foram testados ao longo das trajetórias examinadas.
Essas checagens validaram a implementação da simulação. Elas não estabeleceram concordância com a dinâmica de um robô real nem segurança de colisão em toda e qualquer pose.
Figura 5. Asset do YuMi no Isaac Sim depois das etapas de validação visual, de física e SimReady
Confira antes de seguir: a sequência atende aos critérios de aceitação combinados e as checagens SimReady escolhidas passam. Mudanças de ajuste, propriedades estimadas e falhas não resolvidas estão documentadas.
5. Tarefa Final de Simulação Robótica
Execute uma validação final no Isaac Sim, que combine as checagens visuais, de física e SimReady com uma tarefa de pick-and-place.
Exemplo 1: Pick-and-Place de Cubos
Peça ao agente que acrescente alvos de cor e uma caixa à cena de teste e defina as posições e os metadados de cor dos alvos. O alvo de cor correspondente é selecionado pelos metadados da cena.
Prompt de exemplo:
Use os dois braços e as duas garras para pegar e posicionar cubos. Acrescente alvos de cor e uma caixa à cena de teste e defina as posições deles e os metadados de cor dos alvos. Execute a sequência completa de preensão, elevação, sustentação, transferência e liberação. Use os metadados da cena para escolher o alvo de cor correspondente a cada cubo. Teste também o posicionamento dentro da caixa. Verifique escala, orientação, posicionamento de peças, materiais, texturas, eixos e limites de junta, geometria de colisão e comportamento da garra. Execute as checagens de validação do SimReady Foundation que foram selecionadas.
Original em inglês:
Use both arms and grippers to pick and place cubes. Add color targets and a box to the test scene, and define their locations and the targets' color metadata.
Run the complete grasp, lift, hold, transfer, and release sequence. Use scene metadata to select the matching color target for each cube. Also test placement into the box.
Check scale, orientation, part placement, materials, textures, joint axes and limits, collision geometry, and gripper behavior. Run the selected SimReady Foundation validation checks.Premissas de simulação:
- Assumimos coeficientes adimensionais de atrito de contato de 0,8 estático e 0,6 dinâmico. Os testes de preensão passaram com esses valores, mas os coeficientes não foram medidos nem calibrados contra o contato físico entre dedo e objeto.
- Este exemplo usa cubos de teste de 45 mm e 40 g, e as premissas de simulação descritas na etapa 3.
Resultados demonstrados de pick-and-place:
- Ciclos completos: os dois braços e as duas garras completaram quatro ciclos de pick-and-place no total, durante uma simulação de física de 122,2 segundos.
- Sequência da tarefa: cada braço agarrou o seu cubo, levantou, sustentou por dois segundos, transferiu e soltou sobre o alvo da cor correspondente. Em seguida, cada braço pegou o cubo de novo e colocou dentro da caixa.
- Comportamento de contato: o contato dos dedos e o atrito sustentaram os cubos, sem juntas de fixação, travas cinemáticas nem atualização direta da pose do cubo durante a simulação.
- Critérios de aceitação: todos os ciclos passaram nos critérios definidos de preensão, sustentação, transferência, liberação e posicionamento.
- Gravação: o MP4 e o GIF foram gerados a partir desta simulação.
Figura 6. Simulações de pick-and-place do YuMi com cubos coloridos e marcadores de alvo
Exemplo 2: Pick-and-Place com um Objeto Derivado de Imagem
Uma demonstração separada usou um marcador Sharpie criado a partir de uma imagem de referência, para que o agente gerasse um asset 3D que o robô fosse pegar.
- Premissas de simulação: o agente estimou as dimensões do marcador em 140 mm e a massa em 10 g, com o centro de massa no centro geométrico do Sharpie. A geometria de colisão foi aproximada com geometria cilíndrica para a tampa, o corpo e o tampão traseiro.
- Resultados demonstrados: a garra do YuMi levantou o marcador da mesa e o soltou em uma bandeja azul no Isaac Sim.
Figura 7. YuMi pegando e posicionando um marcador Sharpie modelado a partir de uma imagem de referência, no Isaac Sim
Testes de simulação bem-sucedidos demonstram comportamento sob as condições examinadas. Os resultados podem variar conforme o modelo de IA de fronteira e o prompt usados.
Skills da NVIDIA usadas: manipulation-ik, physics-simulation, isaac-sim-validator, isaac-sim-remote e isaac-sim-rendering
Experimente o Fluxo
O SimReady Foundation e as ferramentas NVIDIA Omniverse ajudam quem desenvolve a transformar arquivos de CAD e material de referência em assets que dá para configurar, validar e testar em simulação. Use o OpenUSD, o SimReady Foundation e as ferramentas e skills do NVIDIA Omniverse para preparar assets para as suas tarefas de simulação robótica.
O passo a passo do YuMi é um exemplo do fluxo SimReady para robótica, com o GPT-6 Astra como modelo de IA de fronteira. Para adaptar a abordagem a outro robô ou a outro modelo de IA de fronteira, confirme o acesso às ferramentas e skills necessárias, forneça o material de referência relevante e repita a validação do asset e da tarefa. Os resultados podem variar conforme o modelo, o esforço de raciocínio e os prompts usados.
Experimente o fluxo de exemplo da ABB Robotics
- Comece pelo repositório do SimReady Foundation e pela skill CAD-to-SimReady, para guiar a preparação do asset.
- O arquivo STEP do robô ABB Robotics YuMi, o vídeo e a imagem de referência estão disponíveis para acompanhar este passo a passo.
Saiba mais
- Explore simulações de robótica com o Isaac Sim e o Isaac Lab.
- Aprenda a montar cenas OpenUSD com a trilha de aprendizado gratuita de OpenUSD.
- Desenvolva habilidades de robótica e de gêmeo digital com os cursos gratuitos de IA física.
Participe do NVIDIA GTC Berlin, de 20 a 22 de outubro de 2026, para conhecer os avanços mais recentes em IA física e robótica e para se conectar com desenvolvedores, pesquisadores e lideranças do setor.
Versão localizada do post publicado originalmente em inglês no NVIDIA Technical Blog. Em caso de divergência, prevalece a versão em inglês.