À medida que as organizações migram de pilotos de IA para fábricas de IA em produção, as decisões de infraestrutura passaram das especificações de pico do chip para o custo por token: quantos tokens úteis podem entregar por dólar, por watt e dentro das metas de latência exigidas.
Codesenhada com GPUs, CPUs, redes e sistemas NVIDIA, e fortalecida por um amplo ecossistema de código aberto, a stack completa de software de inferência da NVIDIA melhora continuamente o desempenho do hardware. Na plataforma NVIDIA Blackwell, a stack de software já reduziu os custos de tokens em até 5x no modelo DeepSeek V4 em apenas um mês.
Empresas líderes e provedores de inferência já estão obtendo o valor composto da stack de software de inferência da NVIDIA no Blackwell:
- A Baseten usou a biblioteca de código aberto NVIDIA TensorRT-LLM para servir DeepSeek V4 Pro em GPUs Blackwell para cargas de trabalho de raciocínio, codificação e contexto longo, aplicando otimizações de runtime proprietárias para entregar até 50% mais tokens por segundo.
- A Cognition está usando o framework de inferência NVIDIA Dynamo para gerenciar GPUs de inferência, oferecendo à sua equipe um caminho pronto para escalar cargas de trabalho de aprendizado por reforço sem precisar construir essa infraestrutura do zero.
- A Deep Infra usa a stack de software de inferência da NVIDIA para servir modelos de código aberto frontier com alto desempenho no Blackwell desde o primeiro dia, incluindo o DeepSeek V4.
- A Together AI usou o NVIDIA TensorRT-LLM no Blackwell para ajudar a Cursor a acelerar o caminho das otimizações de modelos para endpoints de produção para sua experiência de codificação em tempo real.
Por Que o Software É Importante para a Economia de Inferência
As cargas de trabalho tradicionais de web, busca e software como serviço eram relativamente previsíveis: um usuário poderia carregar uma página, atualizar um feed ou atualizar um registro de negócios. Essas solicitações geralmente seguiam caminhos de software semelhantes, lendo ou gravando em um banco de dados, e escalavam adicionando mais servidores do mesmo tipo.
A IA agêntica é diferente.
Os agentes podem raciocinar, planejar, chamar ferramentas, iniciar subagentes especialistas e gerenciar contexto massivo em workflows de múltiplos turnos. Eles transformam uma única solicitação em um problema de computação distribuída que pode abranger centenas de subagentes, milhares de tarefas e múltiplos modelos de linguagem grandes, executando em GPUs, CPUs, DPUs e sistemas de armazenamento.
A stack de software determina se essa complexidade se transforma em capacidade desperdiçada ou em menor custo por token.
Um custo por token mais baixo vem de transformar otimizações individuais em desempenho de nível de sistema. A stack de software de inferência da NVIDIA faz isso conectando três camadas:
- Operação em Produção: Coordena o serving distribuído, a orquestração, o autoscaling e o gerenciamento de memória para que a inferência possa ser executada nos recursos de computação e armazenamento corretos.
- Aceleração de Aplicações: Executa modelos com alto desempenho, dando aos desenvolvedores espaço para ajustar e personalizar, usando otimizações de runtime como sobreposição de computação e comunicação e fusão de kernel.
- Acesso à Infraestrutura: Expõe as capacidades de GPU, rede, memória e sistema da NVIDIA sem exigir que os desenvolvedores gerenciem diretamente cada conjunto de instruções de dispositivo ou protocolo de transferência de dados.
Quando essas camadas funcionam como um único sistema, as otimizações individuais se acumulam.
O serving disaggregated, o grande paralelismo de especialistas sobre a tecnologia de interconexão NVIDIA NVLink, a precisão NVFP4 e a previsão multi-token cada um oferece ganhos significativos por conta própria. Combinados, eles aumentam o throughput em até 20x.
O gráfico abaixo mostra o resultado. Capturar esse ganho em produção é complexo, exigindo coordenação em toda a stack de inferência — desde operações de produção e runtimes de modelos até kernels, bibliotecas de comunicação e acesso ao hardware. A stack de software de inferência da NVIDIA foi projetada para fazer essas camadas funcionarem juntas, para que cada otimização possa se basear nas outras.
O Código Aberto Amplifica a Vantagem Full-Stack
Essa mesma fundação full-stack é amplificada pelo ecossistema de código aberto. Muitos dos frameworks de IA de código aberto e projetos de inferência mais amplamente usados hoje são construídos nativamente no NVIDIA CUDA, o que significa que novas pesquisas e otimizações de software são executadas com desempenho líder em GPUs NVIDIA desde o primeiro dia.
O PyTorch é um exemplo líder. Lançado em 2016 com suporte nativo ao CUDA, o PyTorch co-evoluiu com a arquitetura da NVIDIA, dando aos desenvolvedores acesso a inovações como Tensor Cores, Transformer Engine e NVFP4 diretamente por meio de um framework familiar.
Quando avanços como o DFlash speculative decode, que oferece até 15x mais throughput no hardware existente, ou o FastVideo, que gera vídeos em 1080p em menos de cinco segundos, chegam ao PyTorch, eles podem ser executados instantaneamente na NVIDIA, ajudando as fábricas de IA a converter o progresso da pesquisa em custos de tokens mais baixos.
O mesmo momentum de código aberto explica por que, quando um novo modelo frontier de código aberto como o DeepSeek V4 é lançado, frameworks de inferência líderes como vLLM e SGLang têm receitas de implantação desde o primeiro dia para a arquitetura NVIDIA Blackwell — tornando o modelo acessível em milhões de GPUs Blackwell. É também por isso que o desempenho do DeepSeek V4 no Blackwell melhorou em até 5x em cerca de um mês nos frameworks vLLM e SGLang, reduzindo os custos de tokens para aproximadamente um quinto dos níveis anteriores.
Esse é o flywheel de código aberto: mais desenvolvedores otimizam os caminhos de inferência nativos do CUDA, mais implantações em produção retroalimentam o ecossistema e cada melhoria de software aumenta a produção de tokens entregados enquanto reduz o custo por token ao longo do tempo.
Explore como o software multiplica o desempenho do hardware neste NVIDIA AI Podcast sobre tokenomics e nesta página de soluções de inferência.
