O crescimento exponencial das demandas de IA está impulsionando a necessidade de conjuntos de dados massivos e janelas de contexto que ultrapassam os limites da memória do sistema.
Mas necessidades crescentes não são atendidas simplesmente adicionando mais capacidade de armazenamento. O que se precisa são insights úteis e fundamentados provenientes de AI factories e arquiteturas de armazenamento eficientes e seguras que viabilizem esses insights.
Na conferência Future of Memory and Storage (FMS) desta semana, a NVIDIA está revelando novos avanços em armazenamento e demonstrando como o próximo salto em IA depende tanto da infraestrutura de armazenamento que alimenta a computação acelerada quanto da própria capacidade computacional.
A pressão sobre essa infraestrutura está se intensificando à medida que agentes de IA consomem quantidades massivas de dados — e as GPUs agora podem iniciar requisições de armazenamento diretamente, gerando milhares de operações simultâneas.
Para atender a essas requisições, os sistemas de armazenamento precisam criptografar, comprimir, verificar e reconstruir dados de forma contínua. Esses serviços críticos de dados podem se tornar gargalos quando milhares de agentes acessam o armazenamento simultaneamente.
Benchmarks destacados neste blog técnico da NVIDIA mostram que o NVIDIA Vera CPU, parte do NVIDIA Vera BlueField-4 STX, oferece throughput até 3,21x maior do que uma CPU x86 em um pipeline de compressão e criptografia em dois estágios. Isso significa que, com o Vera, as plataformas de armazenamento podem absorver o volume de dados de IA com mais eficiência — entregando maior throughput com infraestrutura computacional significativamente menor.
Com a computação acelerada, o armazenamento deixa de ser um local passivo para guardar dados e se torna uma parte ativa do caminho dos dados.
Isso subverte a antiga economia de determinar quando os dados pertencem à memória (onde as aplicações podem buscá-los mais rapidamente) em vez de em uma unidade de armazenamento (onde podem ser mantidos em espaço barato e abundante). Esse trade-off foi formulado pela primeira vez há 40 anos, quando a resposta era medida em minutos para acessar esses dados. Nas GPUs atuais, combinadas com soluções de armazenamento de IA da NVIDIA e de parceiros, o mesmo trade-off agora se resolve em microssegundos.
Reduzir a lacuna entre as necessidades da IA e a escassez de memória depende de um codesign extremo em todo o ecossistema, dos fabricantes de memória e armazenamento ao software desenvolvido sobre eles.
APIs cuFile de código aberto da NVIDIA habilitam interoperabilidade para soluções de armazenamento
Na FMS, a NVIDIA anunciou que está disponibilizando como código aberto suas interfaces de programação de aplicações (APIs) cuFile — e o stack vertical de software de armazenamento subjacente a elas — que permitem que GPUs, e não apenas CPUs, leiam e gravem no armazenamento diretamente. O cuFile é um componente de código aberto do NVIDIA GPUDirect Storage.
Utilizando centenas de milhares de threads de GPU, memória de alta largura de banda e outras metodologias, o cuFile permite acessar dados do armazenamento com segurança em apenas microssegundos.
Isso representa como a indústria está unificando um stack de armazenamento com segurança em primeiro lugar, baseado nas melhores práticas do Linux, proporcionando interoperabilidade entre GPUs e dados.
Além disso, o acesso rápido e seguro a dados e armazenamento é um elemento fundamental para viabilizar medidas de segurança cibernética preventivas e de detecção. Disponibilizar o cuFile de forma aberta ajudará a tornar o contexto de segurança, os dados e o armazenamento acessíveis na velocidade que as defesas baseadas em IA exigem. Essas tecnologias abertas apoiam iniciativas como a nova Open Secure AI Alliance.
Este site é a nova casa para APIs abertas a contribuições — com Google, Intel, NVIDIA e Meta como mantenedores iniciais — e pode ser otimizado para uso em diversas plataformas de software e hardware, impulsionando inovação e eficiência para desenvolvedores e empresas.
NVIDIA e líderes da indústria avançam em nova fronteira do armazenamento de IA
Além disso, a NVIDIA e líderes da indústria de armazenamento estão otimizando soluções de memória e armazenamento por meio de uma iniciativa chamada Storage-Next. A iniciativa liderada pela NVIDIA reúne fabricantes de armazenamento, fornecedores de controladores, operadores de design térmico, resfriamento e orquestração, e organismos de padronização para alinhar sobre como o armazenamento orientado por GPU deve se comportar — e então transformar esses avanços em padrões abertos e interoperáveis da indústria.
O Storage-Next conta com mais de 40 fornecedores líderes de armazenamento e flash — incluindo DDN, KIOXIA e Micron — cada um contribuindo para a próxima geração de tecnologias de armazenamento de IA com a NVIDIA.
A iniciativa está fundamentada no acesso acelerado a dados para grandes conjuntos de dados de IA. Para dar suporte a isso, a NVIDIA oferece o SCADA — abreviação de scaled, accelerated data access — um framework que permite que GPUs massivamente paralelas extraiam apenas os dados necessários para a aplicação diretamente do armazenamento para sua própria memória de alta velocidade.
Por exemplo, a DDN está integrando o SCADA com o Infinia, sua plataforma de inteligência de dados nativa de IA e definida por software, criada para eliminar gargalos de armazenamento em escala.
“O sucesso da IA será definido não pela quantidade de infraestrutura que as organizações possuem, mas pela produtividade com que a utilizam”, disse Sven Oehme, diretor de tecnologia da DDN. “Nossa colaboração com a NVIDIA está ajudando a criar uma conexão mais direta e eficiente entre GPUs e dados — mantendo os recursos de computação acelerada produtivos, acelerando o tempo de obtenção de insights e permitindo que os clientes obtenham retornos empresariais e financeiros mais sólidos de seus investimentos em IA.”
O Storage-Next e o SCADA ampliam o trabalho de longa data da NVIDIA em infraestrutura de armazenamento de IA, incluindo o NVIDIA Vera BlueField-4 STX — uma base modular em escala de rack alimentada pela plataforma NVIDIA Vera Rubin, pelos processadores de armazenamento NVIDIA Vera BlueField-4 e pela rede NVIDIA Spectrum-X Ethernet.
Definindo uma nova classe de plataformas de dados nativas de IA, o NVIDIA STX utiliza o stack de segurança unificado NVIDIA DOCA para permitir que as empresas habilitem a aplicação contínua de políticas no caminho dos dados de IA.
Além disso, o NVIDIA CMX Context Memory Storage fornece uma camada de contexto nativa de IA para inferência de IA agêntica com contexto longo e múltiplas interações, construída sobre o NVIDIA STX.
O SCADA permite armazenamento de IA rápido que permanece seguro
A velocidade na camada de armazenamento traz um desafio. Permitir que uma aplicação se comunique diretamente com uma unidade é rápido, mas, se feito de forma descuidada, pode sobrescrever a memória de outros processos — uma falha de segurança, não um recurso.
O NVIDIA SCADA utiliza um método seguro e robusto para alcançar acesso direto em escala, dividindo a tarefa em duas partes:
- As partes da aplicação voltadas ao usuário que precisam de velocidade máxima permanecem fora da base de computação confiável.
- Um componente separado e privilegiado configura o acesso protegido entre a aplicação do usuário e seu armazenamento aprovado na inicialização, aderindo aos protocolos padrão do Linux para aplicação de segurança enquanto protege os dados com eficiência.
Tudo isso faz parte de como os avanços em infraestrutura de armazenamento de IA rápida, massivamente paralela, eficiente e segura podem fornecer melhores dados para aplicações e AI factories — para que possam produzir inteligência mais útil, precisa e fundamentada em escala.
Participe das sessões da NVIDIA na FMS, realizada de 4 a 6 de agosto em Santa Clara, Califórnia, e saiba mais sobre o armazenamento de IA da NVIDIA.
Consulte o aviso sobre informações de produtos de software.