Para construir e implantar aplicações robóticas sofisticadas, capazes de perceber, raciocinar e agir em ambientes dinâmicos, os desenvolvedores precisam de novos modelos e ferramentas de IA física.
O framework aberto ROS é um projeto da Open Robotics que ajuda humanos a construir robôs. O NVIDIA Isaac ROS 5.0 é um conjunto de pacotes acelerados por GPU, criado sobre o ROS e lançado na conferência ROSCon, em Toronto, no Canadá. A nova versão ajuda humanos e agentes de IA a construir robôs em conjunto.
A versão traz fluxos de trabalho agênticos inéditos e amplia a compatibilidade com novas plataformas para ajudar os desenvolvedores a construir, personalizar e implantar aplicações robóticas mais rápido.
O ROS fornece a base open source de boa parte do desenvolvimento moderno de robótica, com ferramentas, bibliotecas e padrões comuns que os desenvolvedores usam para criar e conectar aplicações robóticas.
O NVIDIA Isaac ROS leva a computação acelerada da NVIDIA, modelos de IA física e bibliotecas prontas para produção aos quase 1,3 milhão de usuários do ROS, ajudando os desenvolvedores a criar aplicações robóticas de alto desempenho com ferramentas open source gratuitas e já conhecidas.
Levando os Agentes de IA para o Desenvolvimento de Robótica
Os agentes de IA estão mudando a forma como o software é construído, ao ajudar os desenvolvedores a automatizar tarefas repetitivas, navegar por bases de código complexas e sair da ideia para uma aplicação funcional mais rápido. O Isaac ROS 5.0 traz esses recursos para o desenvolvimento de robótica.
O Isaac ROS 5.0 passa a ser compatível com o ROS Lyrical e o Ubuntu 24.04, o que abre caminho para adotar a plataforma ROS mais recente e seguir acelerando cargas de trabalho robóticas exigentes com a computação acelerada da NVIDIA. A NVIDIA trabalhou com a Open Source Robotics Alliance para contribuir com uma interface padrão de tratamento de dados para o ROS Lyrical, que ajuda o software de robótica a funcionar de forma eficiente em diferentes tipos de hardware de computação, incluindo GPUs.
Disponível para toda a comunidade ROS, a interface dá aos desenvolvedores uma forma consistente de acelerar aplicações robóticas exigentes, com o CUDA servindo de exemplo funcional de aceleração por GPU.
Novas skills do NVIDIA Isaac para configuração e manipulação oferecem fluxos de trabalho reutilizáveis que desenvolvedores e agentes de IA podem usar para concluir tarefas de desenvolvimento de robótica. A documentação pronta para agentes também facilita que os agentes de IA entendam as ferramentas e os fluxos do Isaac ROS, transformando a intenção do desenvolvedor em aplicações funcionais mais rápido.
Algumas skills vão além de auxiliar em tarefas isoladas de codificação. Uma nova skill de ajuste fino do FoundationStereo permite que um agente de IA ajude a adaptar um modelo de percepção estéreo às câmeras, ao ambiente e à aplicação robótica de cada desenvolvedor, o que facilita obter uma percepção mais precisa para determinada configuração de sensores.
O FoundationPose, modelo de fundação para estimativa e rastreamento de pose de objetos, agora traz uma biblioteca de inferência pronta para agentes que permite aos robôs perceber e rastrear a posição e a orientação de objetos até 5,5x mais rápido.
Além disso, o pick and place, fluxo de trabalho comum que conecta detecção, estimativa de profundidade e saída de pose, agora está disponível como skill independente e pronta para agentes, o que amplia a flexibilidade dos desenvolvedores de robôs além do Isaac ROS.
Acelerando o Ecossistema de Robótica Open Source
O ecossistema de robótica já está estendendo essa abordagem agêntica aos fluxos de trabalho de desenvolvimento.
O AgenticROS, projeto open source patrocinado pela empresa de tecnologia de percepção 3D RealSense, conecta o Isaac ROS aos modelos abertos NVIDIA Nemotron e aos blueprints do NVIDIA NemoClaw, permitindo que agentes de IA interajam com robôs baseados em ROS. A RealSense também está otimizando suas câmeras estéreo de profundidade 3D nativas de IA mais recentes, incluindo a RealSense D585 Pro, e um kit de desenvolvimento de software open source para o Isaac ROS e a NVIDIA Jetson Thor, plataforma de IA no edge, ajudando os desenvolvedores a criar aplicações de percepção, navegação e manipulação.
A Open Machine Tending Solution, da Intrinsic, é uma aplicação de referência para alimentação de máquinas de controle numérico computadorizado (CNC) e faz parte do recém-lançado Intrinsic Core, um conjunto open source de serviços de runtime e recursos pré-configurados criado para acelerar aplicações de robótica industrial. Ela já traz compatibilidade nativa com o NVIDIA FoundationPose para registro, rastreamento e estimativa de pose de objetos sem configuração adicional. Com o pipeline de percepção do FoundationPose, a solução permite que os robôs detectem e manipulem peças de forma dinâmica, reduzindo a necessidade de gabaritos de fixação rígidos e caros e de integrações de sistemas sob medida.
A Seeed Studio está usando o NVIDIA Isaac ROS com o reBot Arm, combinando percepção acelerada, compreensão espacial e planejamento de movimento no NVIDIA Jetson Thor. Com essa integração, os desenvolvedores passam a ter uma plataforma prática para criar aplicações adaptáveis de IA física, da localização de objetos à manipulação com consciência de colisão e ao pick and place autônomo.
A Magna está usando o NVIDIA Isaac ROS como base modular e acelerada por GPU para percepção robótica, coleta sincronizada de dados e implantação do modelo NVIDIA Isaac GR00T, combinando isso com testes hardware-in-the-loop no Isaac Sim para levar a automação inteligente da pesquisa à manufatura e à mobilidade do mundo real, mais rápido e com menos riscos.
A ferramenta de gerenciamento de pacotes Pixi, da Prefix.dev, facilita a criação de ambientes reprodutíveis de desenvolvimento de robôs, ao reunir o ROS e a plataforma NVIDIA CUDA para que os desenvolvedores configurem e compartilhem fluxos de trabalho robóticos acelerados com mais facilidade.
Como parceira do Isaac ROS, a Foxglove ajuda os desenvolvedores a visualizar e depurar aplicações ROS em execução com suas ferramentas web e de desktop, integradas aos tutoriais do Isaac ROS e compatíveis com dados como tópicos 3D, malhas nvblox e rosbags.
A Flexiv está integrando o Isaac ROS ao seu robô adaptativo Rizon 4. Com isso, os desenvolvedores ganham acesso a recursos de robótica acelerados pela NVIDIA e um caminho simplificado entre testar aplicações no NVIDIA Isaac Sim e implantá-las em um robô físico.
A Ekumen, empresa do grupo Grid Dynamics, está usando pacotes do Isaac ROS acelerados por GPU dentro de stacks ROS e Nav2 já existentes para melhorar o acoplamento de precisão, a detecção de obstáculos em 3D, a localização visual e o planejamento de movimento em tempo real, validando cada aplicação no Isaac Sim.
A Ekumen usa o isaac_ros_cumotion em uma GPU para mapear um caminho livre de colisões para um braço de armazém em cerca de 2 a 5 milissegundos.
A Ouster integra suas câmeras estéreo Stereolabs ZED ao NVIDIA Isaac ROS para entregar percepção acelerada por GPU em aplicações robóticas. A integração simplifica o desenvolvimento de detecção de objetos, mapeamento e navegação em tempo real, mantendo a interoperabilidade com o ecossistema ROS mais amplo.
Levando o Stack Completo de IA Física para o Robô
As aplicações que desenvolvedores e agentes criam precisam, no fim, rodar no robô.
O NVIDIA Jetson é uma plataforma de computação escalável para rodar o stack de IA física no edge com desempenho em tempo real, reunindo no robô o ROS, percepção e navegação aceleradas, modelos de IA e a lógica da aplicação.
O Isaac ROS 5.0 é compatível com computação escalável, do NVIDIA Jetson Orin Nano de entrada aos dispositivos Jetson Thor de alto desempenho, o que preserva um caminho contínuo do desenvolvimento à implantação conforme as cargas de trabalho robóticas ficam mais sofisticadas.
Empresas de robótica já usam essa combinação para levar mais processamento de IA diretamente para suas máquinas.
A Mentee Robotics usa o NVIDIA Isaac ROS como espinha dorsal de percepção e IA do seu humanoide MenteeBot, o que permite ao robô interpretar informações visuais e executar comportamentos aprendidos em tempo real. Uma base de software compartilhada entre as plataformas NVIDIA Jetson Orin e Jetson Thor ajuda a Mentee a estender suas inovações dos robôs atuais para os sistemas da próxima geração.
A Universal Robots incorporou o NVIDIA Isaac ROS ao AI Accelerator, seu kit de desenvolvimento de software, para ajudar integradores a implantar recursos avançados de percepção e movimento mais rápido, sem desenvolver software de robótica complexo do zero. Com o NVIDIA Jetson no edge, a solução permite que os robôs se adaptem a peças que não estão posicionadas com precisão, o que reduz a dependência de gabaritos de fixação caros e deixa as células de manufatura mais flexíveis.
A ROBOTIS, que fabrica o TurtleBot3, robô baseado em ROS e fácil de usar, está integrando o Isaac ROS ao seu robô AI Worker, usando percepção de objetos acelerada por GPU para habilitar tarefas de manipulação guiadas por visão, incluindo pegar, posicionar e alinhar.
A ROBOTIS executa tarefas de manipulação de objetos com o NVIDIA Isaac ROS cuMotion.
Os modelos de fundação para robôs da FieldAI, que podem rodar inteiramente nos robôs, sem depender de conexão com a nuvem, estão integrando o Isaac ROS em dispositivos Jetson para aproveitar mais a aceleração por GPU e melhorar a eficiência do stack de IA embarcado.
A Noble Machines está usando o NVIDIA Isaac ROS no Jetson para acelerar o desenvolvimento de robôs de uso geral para aplicações industriais, partindo de recursos de IA e percepção prontos para uso em vez de criá-los do zero.
Ao combinar um ecossistema aberto de robótica, computação acelerada e novos fluxos de trabalho agênticos de desenvolvimento, o Isaac ROS 5.0 ajuda os desenvolvedores a tratar os dois lados do desafio da IA física: construir aplicações robóticas cada vez mais capazes e executá-las de forma eficiente no mundo físico.
Já disponível, o Isaac ROS 5.0 é gratuito e open source. Os desenvolvedores podem saber mais e começar a usar o NVIDIA Isaac ROS no GitHub.