A plataforma robótica NVIDIA Isaac está aproveitando as mais recentes tecnologias de IA generativa e simulação avançada para acelerar a robótica habilitada para IA.
Hoje, no GTC, a NVIDIA anunciou o Isaac Manipulator e o Isaac Perceptor, uma coleção de modelos básicos, ferramentas robóticas e bibliotecas aceleradas por GPU.
No palco diante de uma plateia lotada, o fundador e CEO da NVIDIA, Jensen Huang, demonstrou o Projeto GR00T, um modelo base de uso geral para o aprendizado de robôs humanoides. O Projeto GR00T aproveita várias ferramentas da plataforma robótica NVIDIA Isaac para serem combinadas para criar IA para robôs humanoides.
“Construir modelos base para robôs humanoides em geral é um dos problemas mais empolgantes para resolver em IA hoje”, disse Huang. “As tecnologias habilitadoras estão se unindo para que os principais roboticistas em todo o mundo deem saltos gigantescos em direção à robótica artificial geral.”
A NVIDIA também anunciou um novo computador para robôs humanoides baseado no sistema NVIDIA Thor em um chip (SoC), e novas ferramentas para a plataforma robótica NVIDIA Isaac, incluindo Isaac Lab para aprendizado de robôs e NVIDIA OSMO para orquestração de workflow em nuvem híbrida, que são fundamentais no desenvolvimento do Projeto GR00T e modelos base para robôs.
Apresentando o Isaac Manipulator para Braços Robóticos
O NVIDIA Isaac Manipulator oferece uma coleção de recursos de geração de movimento e IA modular de última geração para braços robóticos, com uma coleção robusta de modelos base e bibliotecas aceleradas por GPU.
Os desenvolvedores de robótica podem usar combinações de componentes de software personalizados para tarefas específicas para perceber e interagir com o ambiente, permitindo a construção de workflows escaláveis e repetíveis para tarefas de manipulação dinâmica, acelerando o treinamento de modelos de IA e a programação de tarefas.
“A incorporação de novas ferramentas para geração de modelos base na plataforma Isaac acelera o desenvolvimento de robôs mais inteligentes e flexíveis que podem ser generalizados para fazer muitas tarefas”, disse Deepu Talla, vice-presidente de robótica e computação no edge da NVIDIA.
As principais empresas de robótica Yaskawa, Solomon, PickNik Robotics, READY Robotics, Franka Robotics e Universal Robots, uma empresa Teradyne, estão fazendo parceria com a NVIDIA para levar o Isaac Manipulator a seus clientes.
“Ao trazer ferramentas e recursos de IA da NVIDIA para as soluções de automação da Yaskawa, estamos expandindo os limites de onde os robôs podem ser implantados em todos os setores”, disse Masahiro Ogawa, presidente da Yaskawa. “Isso influenciará significativamente vários setores.”
A NVIDIA está introduzindo modelos base para aumentar os sistemas de manipulação de robôs existentes. Isso ajudará a desenvolver robôs para detectar, adaptar e reprogramar para ambientes e aplicações variadas em manufatura inteligente, lidar com tarefas de pick-and-place, manutenção de máquinas e montagem com o seguinte:
- FoundationPose é um modelo base pioneiro para estimativa de pose 6D e rastreamento de objetos inéditos.
- O cuMotion aproveita o processamento paralelo de GPUs NVIDIA para resolver problemas de planejamento de movimento de robôs em escala industrial, executando muitas otimizações de trajetória ao mesmo tempo para fornecer a melhor solução.
- FoundationGrasp é um modelo baseado em transformador que pode fazer previsões de apreensão densas para objetos 3D desconhecidos.
- SyntheticaDETR é um modelo de detecção de objetos para ambientes internos que permite detecção, renderização e treinamento mais rápidos com novos objetos.
Apresentando Isaac Perceptor para IA Visual de Robôs Móveis Autônomos
As operações de manufatura e atendimento estão adotando robôs móveis autônomos (AMRs) para melhorar a eficiência e a segurança do trabalhador, bem como para reduzir as taxas de erro e os custos.
O Isaac Perceptor fornece recursos de visão de 360 graus com várias câmeras, oferecendo aos primeiros parceiros da indústria, como ArcBest, BYD e KION Group, IA visual avançada para suas instalações AMR que auxiliam nas operações de manuseio de materiais.
O NVIDIA Nova Orin DevKit, criado em colaboração com a Segway Robotics e a Leopard Imaging, permite que as empresas desenvolvam, avaliem e implantem rapidamente o Isaac Perceptor.
“A ArcBest está colaborando com a NVIDIA para trazer tecnologia de visão mecânica de ponta para o espaço logístico”, disse Michael Newcity, diretor de inovação da ArcBest e presidente da ArcBest Technologies. “O uso da plataforma Isaac Perceptor em nossas empilhadeiras e caminhões de alcance Vaux Smart Autonomy AMR permite uma melhor percepção, navegação com consciência semântica e mapeamento 3D para detecção de obstáculos em processos de manuseio de materiais em armazéns, centros de distribuição e instalações de manufatura. É mais seguro, mais eficiente e mais econômico do que os atuais sensores lidar 3D.”
Projeto GR00T para Desenvolvimento de Robótica Humanoide Faz uma Reverência
Demonstrados no GTC, os robôs humanoides movidos a GR00T podem receber instruções multimodais (texto, vídeo e demonstrações) bem como suas interações anteriores para produzir a ação desejada para o robô. O GR00T foi mostrado em quatro robôs humanoides de diferentes empresas, incluindo Agility Robotics, Apptronik, Fourier Intelligence e Unitree Robotics.
Robôs humanoides são sistemas complexos que requerem computação heterogênea para atender às necessidades de controles de alto nível de frequência, fusão e percepção de sensores, planejamento de tarefas e interação humano-robô. A NVIDIA revelou um novo computador baseado em Jetson Thor para robôs humanoides, construído sobre o SoC NVIDIA Thor.
O Jetson Thor inclui uma GPU de próxima geração com um motor transformador que oferece 800 teraflops de desempenho de IA de ponto flutuante de 8 bits para executar modelos de IA generativa multimodal como o GR00T. Com um processador de segurança funcional integrado, um cluster de CPU de alto desempenho e 100 GB de largura de banda ethernet, simplifica significativamente os esforços de design e integração.
O Project GR00T usa ferramentas Isaac que estão disponíveis para desenvolvedores de robótica para construir e testar modelos base. Isso inclui Isaac Lab, uma nova aplicação de simulação leve construído em Isaac Sim para treinar esse modelo de robô humanoide em escala, e OSMO, uma plataforma de orquestração de workflow em nuvem para gerenciar as cargas de trabalho de treinamento e simulação.
Acelerando o Aprendizado de Robôs com o Isaac Lab
Robôs que exigem habilidades avançadas de locomoção, seja com andar ou agarrar, precisam usar o aprendizado por reforço profundo em um ambiente simulado e ser treinados repetidamente em um ambiente virtual para aprender habilidades. No entanto, esse utilitário se torna mais útil quando o modelo é transferido para a implantação real do robô, o que foi demonstrado com o Projeto GR00T.
Como sucessor do Isaac Gym, o Isaac Lab se beneficia das tecnologias NVIDIA Omniverse para tarefas de aprendizado por reforço baseadas em física, fotorrealistas e baseadas em percepção. Isaac Lab é uma aplicação de código aberto otimizado para desempenho para aprendizado de robôs construído na plataforma Isaac Sim. Ele incorpora APIs de aprendizado por reforço e um framework de tarefas amigável para desenvolvedores.
Habilitando o Agendamento de Workflow de Robótica Nativa da Nuvem com o NVIDIA OSMO
O NVIDIA OSMO dimensiona cargas de trabalho em ambientes distribuídos. Para cargas de trabalho robóticas com workflows complexos de vários estágios e vários contêineres, a plataforma fornece uma opção de implantação independente de local e recursos de gerenciamento e rastreabilidade de conjuntos de dados para modelos implantados.
“A Boston Dynamics emprega uma variedade de tecnologias de machine learning, aprendizado por reforço e IA para impulsionar nossos robôs”, disse Pat Marion, líder de machine learning e percepção da Boston Dynamics. “Para gerenciar com eficiência as grandes cargas de trabalho de treinamento, estamos usando o NVIDIA OSMO, uma solução de infraestrutura que permite que nossos engenheiros de machine learning simplifiquem seus workflows e dediquem sua experiência para resolver os problemas difíceis de robótica.”
OSMO suporta GR00T, por exemplo, executando simultaneamente modelos em NVIDIA DGX para treinamento e servidores NVIDIA OVX para aprendizagem por reforço ao vivo em simulação. Essa carga de trabalho envolve a geração e o treinamento de modelos iterativamente em um loop. A capacidade da OSMO de gerenciar e programar cargas de trabalho em ambientes distribuídos permite a coordenação perfeita dos sistemas DGX e OVX, permitindo o desenvolvimento eficiente e iterativo de modelos. Quando o modelo estiver pronto para teste e validação, a OSMO pode orquestrar exclusivamente workflows de software em loop no OVX (x86-64), bem como workflows de hardware no loop com recursos de computação NVIDIA Jetson (aarch64).
Suporte ao Ecossistema ROS de Desenvolvedores
A NVIDIA juntou-se à Open Source Robotics Alliance (OSRA) como membro fundador e patrocinador platina. A OSRA é uma nova iniciativa da Open Source Robotics Foundation para promover a colaboração, inovação e orientação técnica na comunidade de robótica, apoiando vários projetos de robótica de código aberto, incluindo o Sistema Operacional de Robôs (ROS).
“A crescente capacidade dos robôs autônomos está impulsionando um aumento na demanda por computação incorporada mais poderosa, mas ainda eficiente em termos de energia”, disse Vanessa Yamzon Orsi, CEO da Open Robotics. “A comunidade ROS está experimentando essa demanda em primeira mão, e nossos usuários estão cada vez mais aproveitando o hardware de computação acelerada avançada de líderes do setor, como a NVIDIA.”
NVIDIA Isaac Perceptor com kit de avaliação Nova Orin, Isaac Manipulator, Isaac Lab e OSMO serão disponibilizados para clientes e parceiros no segundo trimestre deste ano. Saiba mais sobre o Projeto GR00T.