Até 2030, a Organização Mundial da Saúde projeta uma escassez global de mais de 15 milhões de profissionais de saúde, incluindo cirurgiões, radiologistas e enfermeiros. Nos EUA, o déficit de médicos pode chegar a 124.000 até 2034. O aumento da demanda, o envelhecimento da população e a capacidade humana limitada estão levando os sistemas de saúde a um ponto de ruptura.
Os sistemas robóticos habilitados para IA oferecem um caminho a seguir. Desde a automação de subtarefas cirúrgicas e otimização de configurações de salas de cirurgia até a aceleração de diagnósticos e a habilitação de procedimentos remotos, a robótica está ajudando a estender o atendimento, reduzir a carga da equipe clínica e melhorar os resultados, especialmente em regiões carentes.
Com mais de 1.000 dispositivos médicos de IA aprovados pela FDA e mais de 400 plataformas robóticas de saúde em desenvolvimento, um vibrante ecossistema de inovação está se formando. No entanto, a implantação no mundo real continua difícil. Os desenvolvedores enfrentam desafios importantes como:
- Simulação biomecânica de alta fidelidade.
- Sensor médico avançado e simulação de imagem e emulação.
- Transferência de Sim para real.
- Lacuna de dados robóticos, aquisição de dados e integração de aprendizado especializado.
O que é o NVIDIA Isaac para o setor de saúde?
O NVIDIA Isaac for Healthcare é uma plataforma desenvolvida especificamente para acelerar a simulação, o treinamento e a implantação de robótica médica habilitada para IA. Ele traz a poderosa arquitetura de três computadores da NVIDIA para a robótica de saúde, unificando toda a pilha de desenvolvimento, desde a simulação até a execução em tempo real.
A plataforma fornece as ferramentas necessárias para o desenvolvimento de robótica médica de IA por meio de cinco componentes integrados:
Comece com a simulação
Da modelagem de robôs à importação de anatomias específicas do paciente e à simulação de sensores baseados em física (por exemplo, RGB, ultrassom, força), os desenvolvedores podem gerar dados de treinamento sintéticos de alta qualidade sem nunca interagir com um paciente. Por exemplo, o simulador de ultrassom acelerado por GPU produz imagens em modo B que são praticamente indistinguíveis de dispositivos reais.
Aplique modelos específicos de AI
Domain pré-treinados, como o π0 pós-treinado e o NVIDIA Isaac GR00T N1, fornecem pontos de partida para percepção e controle. Estes não são modelos genéricos – eles são treinados especificamente para tarefas médicas.
Crie fluxos de trabalho completos
Três aplicativos de referência demonstram a implementação de ponta a ponta: varredura robótica de ultrassom, automação de subtarefas cirúrgicas e telecirurgia remota. Cada um inclui métricas de avaliação e pode ser personalizado para seu caso de uso específico.
Gerar dados de treinamento
Quando os dados reais são escassos, ferramentas como o MAISI criam pacientes sintéticos anatomicamente corretos, enquanto o NVIDIA Cosmos gera variações de procedimentos para cenários cirúrgicos. Isso resolve o desafio fundamental de treinar a disponibilidade de dados na área da saúde.
Aproveite os ativos médicos
Modelos 3D pré-validados de equipamentos cirúrgicos, estruturas anatômicas e ambientes hospitalares aceleram o desenvolvimento. O catálogo de ativos inclui tudo, desde instrumentos da Vinci até anatomia do paciente, todos prontos para simulação.
As ferramentas em destaque incluem:
- Workflows autônomos: pipelines de referência para imagens de ultrassom robóticas e automação de tarefas cirúrgicas.
- Simulação de sensor de ultrassom: simulação de imagem em modo B com precisão física para treinamento e teste de IA.
- Ativos prontos para simulação: modelos anatômicos plug-and-play e suporte a robôs (por exemplo, dVRK, Franka e mais em andamento).
- Políticas pré-treinadas: π0 pronto para uso para orientação por ultrassom, além de linhas de base de imitação e aprendizado por reforço, como transformador de fragmentação de ação (ACT).
- Workflows de telecirurgia: pipeline de controle de baixa latência e otimizado para borda com E/S do sensor GPUDirect.
- Biblioteca de modelos expandida: novas políticas π0 e GR00T N1 para execução de tarefas mais robusta
- Transferência de cosmos para geração de dados sintéticos: Adaptação de domínio sintético para real para ambientes de imagem clínica
Destaques dos projetos de Acesso Antecipado:
Mais de 500 desenvolvedores aderiram ao Programa de Acesso Antecipado, abrangendo casos de uso de cirurgia e imagem a serviços ao paciente. Os destaques incluem:
Moon Surgical: automatizando a configuração da sala de cirurgia com posicionamento robótico inteligente
A Moon Surgical é pioneira na automação em nível de sistema, ensinando seu robô a se configurar para cirurgia de forma autônoma. Usando câmeras integradas e uma política de IA orientada por cartão de preferência, o sistema detecta as posições dos trocartes e otimiza sua configuração com base no caso cirúrgico e nas preferências do cirurgião. Desde o encaixe automático na mesa até a implantação de braços robóticos na configuração ideal, esse fluxo de trabalho simplifica a configuração da sala de cirurgia e melhora a consistência entre os casos.
Incisão virtual: automatizando a transferência de agulhas na plataforma MIRA
A Virtual Incision mostrou a automação de subtarefas cirúrgicas pré-clínicas em sua plataforma laparoscópica miniaturizada, MIRA, automatizando a tarefa de transferência de agulhas. Usando o aprendizado de imitação baseado em transformador, eles treinaram uma política de IA que imita movimentos de especialistas e executa com alta precisão, aproximando-nos da autonomia escalável em ambientes cirúrgicos restritos.
Virtuoso Surgical: Manuseio de tecidos alimentado por IA com um robô endoscópico de tubo concêntrico
A Virtuoso Surgical está trazendo autonomia para seus robôs deformáveis de tubo concêntrico, treinando IA para lidar com tarefas delicadas, como retração e corte de tecido. Usando feedback de tensão interna de dados simulados no NVIDIA Isaac Sim para desenvolver uma política que permite a manipulação precisa em um ambiente de tecido mole
Sovato: telerrobótica de baixa latência com fluxo de trabalho otimizado para borda
A Sovato está avançando na cirurgia telerobótica implementando um fluxo de trabalho otimizado para latência adaptado para procedimentos remotos. Ao usar computação acelerada por GPU e integração de E/S de sensor na borda, eles obtiveram ganhos significativos de desempenho, trazendo controle robótico de alta precisão e em tempo real para ambientes operacionais distribuídos geograficamente.
Começar
Clone os repositórios e comece a criar:
Traga seu próprio modelo/paciente/robô/XR
O Isaac for Healthcare foi projetado para funcionar com seus ativos, modelos e hardware existentes. A plataforma fornece caminhos de integração claros para personalização, mantendo o desempenho e a confiabilidade.
A plataforma oferece suporte a modelos de IA em formatos padrão, incluindo ONNX, NVIDIA TensorRT, PyTorch (TorchScript) e TensorFlow. A integração envolve exportar seu modelo treinado, criar um operador Holoscan para inferência e conectá-lo ao pipeline do sensor. A estrutura lida com a otimização e a aceleração de hardware automaticamente.
- Traga seu próprio paciente: Converta seus dados de imagens médicas (tomografias computadorizadas/ressonância magnética) em modelos 3D para simulação. Usando as ferramentas de integração do MONAI, você pode transformar arquivos DICOM, NIFTI ou NRRD com máscaras de segmentação em formato USD para uso em planejamento e treinamento cirúrgico. O fluxo de trabalho inclui geração de malha, alinhamento de coordenadas e integração com a simulação física.
- Traga seu próprio robô: Se você tem um robô cirúrgico personalizado ou deseja modificar as plataformas existentes, a estrutura suporta importação URDF e conversão de arquivos CAD. O processo inclui converter a descrição do robô para o formato USD, configurar cadeias cinemáticas e integrar com o sistema de controle. Os exemplos incluem a substituição de efetores finais (como trocar uma pinça por uma sonda de ultrassom) ou adicionar plataformas de robôs totalmente novas.
- Traga seu próprio dispositivo XR: Conecte qualquer headset de realidade misturada compatível com OpenXR para teleoperação imersiva. A plataforma oferece suporte a dispositivos do Apple Vision Pro ao Meta Quest por meio de interfaces OpenXR padrão. Isso permite a visualização estereoscópica e o controle intuitivo de rastreamento manual para treinamento cirúrgico e procedimentos remotos.
Cada caminho BYO inclui tutoriais detalhados e código de exemplo no repositório i4h-workflows e i4h-asset-catalog, facilitando a extensão da plataforma com seus requisitos específicos.