Os sistemas de recomendação, os motores econômicos da internet, estão recebendo um novo turbocompressor: o Superchip NVIDIA Grace Hopper.
Todos os dias, os recomendadores fornecem trilhões de resultados de pesquisa, anúncios, produtos, músicas e notícias para bilhões de pessoas. Eles estão entre os modelos de IA mais importantes do nosso tempo porque são incrivelmente eficazes em encontrar no caos da internet as pérolas que os usuários desejam.
Esses pipelines de machine learning são executados em dados, terabytes deles. Quanto mais dados os recomendadores consumirem, mais precisos serão os resultados e mais retorno do investimento eles oferecerão.
Para processar esse tsunami de dados, as empresas já estão adotando a computação acelerada para personalizar os serviços para seus clientes. O Grace Hopper levará seus avanços para o próximo nível.
GPUs Geram 16% Mais Engajamento
O Pinterest, empresa de mídia social de compartilhamento de imagens, conseguiu migrar para modelos de recomendação 100 vezes maiores adotando GPUs NVIDIA. Isso aumentou o engajamento em 16% para seus mais de 400 milhões de usuários.
“Normalmente, ficaríamos felizes com um aumento de 2%, e 16% é apenas o começo”, disse um engenheiro de software da empresa em um blog recente. “Vemos ganhos adicionais: isso abre muitas portas para oportunidades.”
A próxima geração da plataforma de IA da NVIDIA promete ganhos ainda maiores para empresas que processam grandes conjuntos de dados com modelos de recomendação superdimensionados.
Como os dados são o combustível da IA, o Grace Hopper foi projetado para bombear mais dados por meio de sistemas de recomendação do que qualquer outro processador do planeta.
NVLink Acelera Grace Hopper
O Grace Hopper consegue isso porque é um superchip (dois chips em uma unidade), compartilhando uma interconexão chip a chip super-rápida. É uma CPU NVIDIA Grace baseada em Arm e uma GPU Hopper que se comunicam pelo NVIDIA NVLink-C2C.
Além disso, o NVLink também conecta muitos superchips em um supersistema, um cluster de computação construído para executar sistemas de recomendação de terabyte.
O NVLink transporta dados a impressionantes 900 gigabytes por segundo, 7 vezes a largura de banda do PCIe Gen 5, a interconexão que os sistemas futuros mais avançados usarão.
Isso significa que o Grace Hopper impulsiona os recomendadores 7 vezes mais das embeddings (tabelas de dados repletas de contexto) que eles precisam para personalizar os resultados para os usuários.
Mais Memória, Maior Eficiência
A CPU Grace usa LPDDR5X, um tipo de memória que atinge o equilíbrio ideal de largura de banda, eficiência energética, capacidade e custo para sistemas de recomendação e outras cargas de trabalho exigentes. Ele fornece 50% mais largura de banda enquanto usa um oitavo da energia por gigabyte dos subsistemas de memória DDR5 tradicionais.
Qualquer GPU Hopper em um cluster pode acessar a memória do Grace pelo NVLink. É um recurso do Grace Hopper que fornece os maiores pools de memória GPU de todos os tempos.
Além disso, o NVLink-C2C requer apenas 1,3 picojoules por bit transferido, proporcionando mais de 5 vezes a eficiência energética do PCIe Gen 5.
O resultado geral é que os recomendadores obtêm até 4 vezes mais desempenho e maior eficiência usando o Grace Hopper do que usando o Hopper com CPUs tradicionais (veja o gráfico abaixo).
Todo o Software que Você Precisa
O Superchip Grace Hopper executa o pacote completo do software NVIDIA AI usado em alguns dos maiores sistemas de recomendação do mundo atualmente.
NVIDIA Merlin é o combustível de foguete de recomendações, uma coleção de modelos, métodos e bibliotecas para construir sistemas de IA que podem fornecer melhores previsões e aumentar cliques.
NVIDIA Merlin HugeCTR, um framework de recomendação, ajuda os usuários a processar conjuntos de dados massivos rapidamente em clusters de GPU distribuídos com a ajuda da NVIDIA Collective Communications Library.
Saiba mais sobre Grace Hopper e NVLink neste blog técnico. E assista a esta sessão do GTC para saber mais sobre como construir sistemas de recomendação.
Você também pode ouvir o CEO e cofundador da NVIDIA, Jensen Huang, fornecer uma perspectiva sobre recomendações aqui ou assistir à palestra completa do GTC abaixo.