Chão de fábrica, armazém e linha de produção quase nunca ficam parados: as tarefas mudam, o layout muda, produtos novos chegam, e a maioria dos robôs não acompanha sem uma reprogramação pesada.
O novo modelo de fundação para robôs S1, da Skild AI, ataca esse problema: ele foi projetado para aprender tarefas inéditas e de horizonte longo a partir de uma única demonstração em vídeo. O modelo, lançado na semana passada, usa o vídeo como entrada para entender e executar a tarefa sem atualizar os próprios pesos e sem passar por pós-treinamento específico, uma técnica chamada in-context learning.
A Skild construiu o S1 e conduziu a pesquisa em infraestrutura de IA da NVIDIA, parte de uma colaboração mais ampla que passa por geração de dados sintéticos, treinamento de modelo, simulação e implantação de physical AI no mundo real. As duas empresas trabalham para tirar a inteligência adaptável de robôs do laboratório e levá-la a fábricas e outros ambientes de operação dinâmicos.
“Aprender por experiência, e não por pré-programação, é a mudança de patamar que aconteceu na robótica”, disse Deepak Pathak, cofundador e CEO da Skild AI. “As tecnologias NVIDIA Isaac Lab e NVIDIA Cosmos ajudam a Skild a criar a experiência escalável e diversa de que seus robôs precisam para aprender em muitos cenários e corpos diferentes.”
O lançamento chega no momento em que a empresa alcançou um run rate de receita anual de US$ 100 milhões, 10 meses depois da primeira implantação comercial. Nesse período, a Skild construiu mais de 60 parcerias de implantação, com trabalhos em manufatura, logística, inspeção, segurança, preparo de alimentos e outras aplicações.
Aprender um trabalho novo a partir de um vídeo
A maioria dos robôs industriais é feita para tarefas fixas, então cada produto, processo ou layout novo exige mais dados, retreinamento e validação.
O S1 segue outro caminho: um operador grava um vídeo da tarefa desejada e entrega esse vídeo ao modelo como prompt. Ele interpreta a intenção demonstrada, os objetos e a sequência, e então mapeia tudo isso em ações para o robô que está à sua frente, sem retreinamento, e muitas vezes para uma tarefa que não estava no conjunto de pré-treinamento.
O S1 consegue executar tarefas desconhecidas de até 10 minutos, incluindo plantar em vaso, fazer panqueca, preparar café coado e montar kits. Essas tarefas podem ter dezenas de passos de manipulação e exigem que o robô combine habilidades em sequências que nunca executou antes.
Em um teste de plantio em vaso, o time da Skild AI foi da gravação da demonstração à execução autônoma no hardware em 11 minutos. O modelo também consegue se ajustar quando os objetos se movem, se recuperar de erros e combinar habilidades em sequências que não foram explicitamente programadas.
Nos testes da Skild com tarefas novas de múltiplos passos, o robô com S1 acertou cerca de 66% das vezes em cada passo, contra 9% de um sistema de IA semelhante, uma melhora de mais de sete vezes. A Skild também estima que mostrar ao robô um exemplo curto em vídeo pode valer tanto quanto dar a ele cerca de 380 exemplos práticos. Uma pessoa coletando esses exemplos na mão levaria de 50 a 100 horas.
Da pesquisa ao chão de fábrica
O S1 quebra o ciclo de ter que retreinar robôs a cada mudança, porque deixa o operador demonstrar tarefas novas diretamente, sem exigir um conjunto de dados e uma rodada de treinamento para cada alteração. Onde os contratos com clientes permitem, a experiência das implantações comerciais da Skild pode alimentar o modelo mais amplo e ajudar a acelerar implantações futuras.
Esse trabalho já está em campo. Skild, NVIDIA e Foxconn estão implantando o Skild Brain em manipuladores de dois braços para a montagem de alta precisão de sistemas NVIDIA Blackwell. Em um dos fluxos demonstrados, um robô instala um barramento e um bloco limitador, aperta 16 parafusos e se adapta a perturbações ao longo de uma tarefa de múltiplos passos. O trabalho exige movimento preciso, controle sensível ao contato, rastreamento de sequência e recuperação quando a cena difere do plano.
Tecnologia NVIDIA em todo o ciclo de desenvolvimento
A computação acelerada da NVIDIA dá à Skild a escala para treinar seu cérebro de robô compartilhado usando simulação, vídeo humano, teleoperação e, onde permitido, dados de implantação. Os modelos de fundação de mundo abertos NVIDIA Cosmos ajudam a diversificar os dados de treinamento e a transformar vídeo em descrições estruturadas, enquanto o Cosmos Curator ajuda a anotar, filtrar e organizar dados em escala.
A Skild usa intensamente os frameworks de simulação abertos da NVIDIA para treinar e validar seu cérebro de robô antes da implantação no mundo real. As bibliotecas NVIDIA Omniverse e o framework NVIDIA Isaac Sim fornecem ambientes virtuais com base física para gerar dados, testar casos extremos e validar comportamentos.
A Skild ainda fortalece as habilidades do seu cérebro com aprendizado por reforço no Isaac Lab, um framework aberto e modular de aprendizado para robôs. Movido pelo motor de física Newton, o Isaac Lab ajuda os engenheiros da Skild a modelar com precisão diferentes parâmetros físicos, como força, contato, colisão e pressão, e a reduzir a distância entre simulação e realidade.
Skild e NVIDIA também desenvolvem em conjunto novos solvers de simulação acelerados por GPU, que modelam de forma rápida e precisa como os robôs tocam, seguram e manipulam objetos sólidos. Eles serão disponibilizados em breve para todos os desenvolvedores como parte do Newton.
Conforme os modelos avançam para produção, as ferramentas NVIDIA Nsight ajudam os engenheiros a encontrar gargalos de performance durante o treinamento, e o SDK NVIDIA TensorRT otimiza a inferência para que os robôs respondam rápido no mundo físico. Em conjunto, essas tecnologias conectam as etapas de dados, simulação, treinamento e implantação em vez de tratá-las como sistemas separados.
Leia a pesquisa do S1 da Skild AI e explore a plataforma de robótica NVIDIA Isaac.