Lançada hoje, a NVIDIA Minerva é uma plataforma de AIOps criada para ajudar as equipes a encontrar problemas mais cedo e manter as fábricas de IA produtivas. Ela reúne a telemetria da infraestrutura e das workloads de IA e aplica modelos de IA dedicados para transformar esses dados em insight acionável e oportuno.
As fábricas de IA estão entre as operações mais complexas do mundo, com um número enorme de GPUs trabalhando em redes de alta velocidade para treinar modelos e servir aplicações de IA. Nessa escala, um único componente degradado pode atrasar um job inteiro. Os sinais de alerta são fáceis de passar despercebidos, como uma GPU rodando mais quente que as demais ou uma unidade NVMe perdendo performance sob carga.
A plataforma se concentra no rendimento da fábrica de IA, uma medida do trabalho útil que a infraestrutura produz, considerando horas de GPU, goodput, tempo de atividade do cluster e produção de tokens.
Uma visão dinâmica da fábrica de IA
As ferramentas tradicionais de monitoramento costumam dividir o data center em visões separadas. As equipes de rede, de computação, de confiabilidade de site e de machine learning enxergam, cada uma, uma parte diferente da operação. A Minerva conecta esses sinais entre GPUs NVIDIA, rede, armazenamento, schedulers e workloads.
Com esses sinais, a Minerva constrói um grafo de conhecimento dinâmico que mapeia logicamente a infraestrutura, ou seja, GPUs, SuperNICs, switches e cabos, e os jobs em execução sobre ela. Esse contexto ajuda a rastrear um job de treinamento lento até o componente que o afeta, mesmo em uma fábrica com centenas de milhares de GPUs.
A plataforma analisa bilhões de pontos de dados por hora com machine learning supervisionado e não supervisionado. Ela aprende o comportamento normal, detecta anomalias nunca vistas antes, prevê falhas em formação e correlaciona eventos relacionados com base na topologia da fábrica. Em vez de enviar cada sintoma para a operação, consegue agrupar uma tempestade de eventos em um único incidente, com uma causa raiz provável.
A Minerva vem com um assistente de IA nativo e se conecta a ferramentas externas de IA baseada em agentes. Isso acrescenta uma interface de linguagem natural ancorada em telemetria ao vivo. A operação pode investigar a saúde do cluster e receber recomendações de remediação por conversa. As equipes podem manter uma pessoa no circuito para aplicar correções manualmente ou conectar a Minerva à automação por meio de interfaces de programação de aplicações de infraestrutura e de sistemas externos.
Resultados que maximizam o rendimento da fábrica de IA
A capacidade de correlacionar problemas de workload e de infraestrutura, somada aos recursos de IA baseada em agentes, ajuda a simplificar a operação da fábrica de IA. Em vez de lidar com uma avalanche de alertas, a Minerva agrega problemas relacionados em um único item acionável. Isso permite que as equipes de AIOps saiam da manutenção reativa para a proativa. Tudo isso ajuda as fábricas de IA a maximizar o tempo de atividade das GPUs.
A Minerva entrega valor nas métricas centrais das fábricas de IA:
- Mais tempo entre interrupções: a Minerva identifica o problema antes que ele aconteça, então os jobs rodam por mais tempo sem incidente.
- Menos tempo até o reparo: quando um incidente acontece, a Minerva aponta o problema, o que leva a uma resolução bem mais rápida.
- Mais clareza: a infraestrutura de IA moderna gera uma enxurrada de dados; a Minerva filtra esse volume e deixa apenas o punhado de alertas que importa de fato.
A IREN está entre as parceiras da NVIDIA que usam a Minerva para otimizar suas fábricas de IA.
“Conforme escalamos nossas fábricas de IA, a chave para oferecer o melhor serviço aos nossos clientes é maximizar a produtividade das nossas GPUs”, disse Denis Skrinnikoff, diretor de tecnologia da IREN. “A NVIDIA Minerva dá ao nosso time de operações uma visão única da rede, das GPUs e dos jobs em execução sobre elas, então focamos mais em manutenção proativa do que em troubleshooting. Essa visibilidade fortalece o nosso modelo de operação para a infraestrutura que vamos construir a seguir.”
Saiba mais sobre a NVIDIA Minerva.
Veja o aviso sobre informações de produtos de software.