Embora aproveitar o potencial da IA seja uma prioridade para muitas das empresas atualmente, desenvolver e implantar um modelo de IA envolve tempo e esforço. Muitas vezes, os desafios devem ser superados para mover um modelo para a produção, especialmente para operações de negócios de missão crítica. De acordo com a pesquisa da IDC, apenas 18% das empresas pesquisadas conseguiram colocar um modelo de IA em produção em menos de um mês.
Este post explora os desafios que retardam as implantações de IA e apresenta as vantagens de usar uma plataforma consistente, segura e confiável para acelerar a jornada de levar a IA para a produção.
A Complexidade Cada Vez Maior do Stack de Software de IA
O software de código aberto (OSS) desempenha um papel crítico no avanço da adoção de IA. De acordo com o The State of the Octoverse 2023, houve 65 mil projetos GitHub relacionados à IA pública em 2023, com crescimento de 248% ano a ano. Embora a comunidade de código aberto tenha ajudado a impulsionar a era da IA, a gama diversificada de OSS usados na construção de aplicações de IA torna a manutenção de um stack de software de IA confiável e de nível empresarial um esforço complexo e intensivo em recursos que é semelhante à manutenção de um sistema operacional de código aberto.
Por exemplo, o Servidor de Inferência NVIDIA Triton, usado para padronizar e dimensionar implantações de IA, depende de inúmeras dependências de software. Na Figura 1, os pontos verdes representam bibliotecas CUDA, os pontos brancos representam pacotes OSS e as linhas entre elas representam dependências. Qualquer alteração única, como uma atualização de software regular ou um patch de segurança, pode introduzir uma alteração na API e resultar em uma falha ou tempo de inatividade da aplicação.
Monitoramento Contínuo de Segurança
O aumento inevitável das vulnerabilidades de segurança torna a manutenção do stack de software de IA ainda mais desafiadora. Um recente relatório de análise de risco e segurança de código aberto da Synopsys indica um aumento de 236% nos padrões de ataque de alto risco em vulnerabilidades de OSS para big data, IA, Business Smart e machine learning em um período de 5 anos.
Novas vulnerabilidades são constantemente descobertas. Por exemplo, a Figura 2 mostra uma comparação dos resultados da verificação de segurança para o contêiner NVIDIA Triton. Em pouco mais de 3 semanas, uma vulnerabilidade crítica foi identificada. Além disso, o número de vulnerabilidades altas cresceu de quatro para 11. O monitoramento contínuo e os tempos de resposta rápidos para corrigir vulnerabilidades são essenciais para manter a continuidade dos negócios.
NVIDIA AI Enterprise para IA de Produção
Para ajudar a enfrentar esses desafios, a NVIDIA apresentou o NVIDIA AI Enterprise, uma plataforma de software nativa na nuvem de ponta a ponta que acelera os pipelines de ciência de dados e simplifica o desenvolvimento e a implantação de IA de nível de produção. Construída em código aberto e com curadoria, otimização e suporte da NVIDIA, a plataforma de software NVIDIA AI Enterprise permite que os desenvolvedores se concentrem na criação e implantação de novos serviços de IA.
O NVIDIA AI Enterprise inclui três ramificações suportadas: ramificações de produção, ramificações de recursos e ramificações de suporte de longo prazo. Os clientes têm acesso às três agências e podem usar qualquer mix das três.
As ramificações de produção garantem a estabilidade da API e atualizações de segurança regulares; ideal para implantar IA na produção quando a estabilidade é necessária. Lançado a cada 6 meses com um ciclo de vida de 9 meses.
As ramificações de recursos incluem as atualizações de software no topo da árvore; ideal para desenvolvedores de IA que desejam o ambiente de desenvolvimento mais rápido e mais recente. Lançado mensalmente.
As filiais de suporte de longo prazo são ideais para indústrias altamente regulamentadas. Lançado a cada 2,5 anos com um ciclo de vida de até 3 anos.
Estabilidade e Segurança da API
Durante todo o ciclo de vida de 9 meses de cada filial de produção da NVIDIA AI Enterprise, a NVIDIA monitora continuamente vulnerabilidades e exposições comuns críticas e altas (CVEs) e lança patches de segurança mensais (Figura 3). Ao fazer isso, os frameworks, bibliotecas, modelos e ferramentas de IA incluídos no NVIDIA AI Enterprise podem ser atualizados para correções de segurança, eliminando o risco de quebrar uma API.
A Figura 4 compara a versão do Triton disponível por meio da versão de ramificação de produção do NVIDIA AI Enterprise com a versão de código aberto do Triton. A versão comercial disponível com o ramo de produção da NVIDIA AI Enterprise tem zero vulnerabilidades críticas e altas, enquanto a versão de código aberto tem nove vulnerabilidades altas.
Segurança Através da Transparência
Além das ramificações de produtos com patches CVE mensais e correções de bugs, os clientes do NVIDIA AI Enterprise também podem receber avisos de segurança e informações de exploração da NVIDIA, incluindo Vulnerability Exploitability eXchange (VEX) e Software Bill of Materials (SBOM), contexto de vulnerabilidade e orientação de correção.
Um documento VEX é uma adição relativamente recente ao campo da cibersegurança. Ao contrário de uma entrada CVE, que fornece informações gerais sobre uma vulnerabilidade, um documento VEX fornece programaticamente detalhes importantes específicos do contexto. Ele indica se uma vulnerabilidade é relevante (ou explorável) para componentes específicos dentro do stack de IA. Ele também é usado para comunicar falsos positivos sinalizados por ferramentas de verificação de vulnerabilidade. Os documentos VEX na NVIDIA são entregues no formato CyclonDX, que fornece uma maneira padronizada de ler por máquina para compartilhar as informações com os clientes.
Otimização de Software ao Longo do Tempo para Melhor Desempenho e Menor TCO
À medida que a NVIDIA continua a evoluir o software de IA e otimizar o desempenho ao longo do tempo, os avanços no software de IA da NVIDIA oferecem ganhos de desempenho de até 54% sem uma atualização de hardware. A Figura 5 mostra o NVIDIA MLPerf Inference v3.0 em comparação com os resultados de envio v2.1 com GPUs NVIDIA H100. Isso não apenas melhora a eficiência e o desempenho, mas também reduz o consumo de energia, a pegada e o investimento no data center ou na nuvem.
Suporte Empresarial
O suporte empresarial está incluído em todas as assinaturas do NVIDIA AI Enterprise, permitindo que as empresas aproveitem a transparência do código aberto com a garantia de suporte completo ao stack de software fornecido pela NVIDIA. O suporte padrão de negócios inclui:
- Casos ilimitados de suporte técnico aceitos através do portal do cliente e telefone em tempo integral
- Suporte de escalonamento durante o horário comercial local
- Resolução oportuna de especialistas e engenheiros da NVIDIA
- Até 3 anos de suporte de longo prazo
Se você precisa se conectar com especialistas em IA, acessar recursos da base de conhecimento ou solucionar problemas de desempenho, a NVIDIA está aqui para ajudá-lo e fornecer o suporte necessário para manter sua IA estável e segura.
Introdução ao NVIDIA AI Enterprise
O NVIDIA AI Enterprise reduz os custos e a carga de manter e proteger a complexa plataforma de software para IA de produção, liberando as empresas para se concentrarem na construção de IA e aproveitar seus insights revolucionários.
Para experimentar a plataforma corporativa, solicite uma licença de avaliação gratuita de 90 dias que concede acesso a todas as filiais de software e suporte corporativo.
Já é um usuário do NVIDIA AI Enterprise? Acesse a versão mais recente da ramificação de produção.