Os sistemas de recomendação, os motores econômicos da internet, ganharam um novo acelerador: o Superchip NVIDIA Grace Hopper.
Todos os dias, os sistemas de recomendação fornecem trilhões de resultados de pesquisa, anúncios, produtos, música e notícias para bilhões de pessoas. Eles estão entre os modelos de AI mais importantes do nosso tempo porque são incrivelmente eficazes em encontrar no caos da internet exatamente o que os usuários querem.
Esses pipelines de machine learning são executados em vários terabytes de dados. Quanto mais consumirem as recomendações de dados, mais precisos são os resultados e mais retorno sobre o investimento eles oferecem.
Para processar esse tsunami de dados, as empresas já estão adotando a computação acelerada para personalizar serviços para seus clientes. A Grace Hopper vai levar seus avanços ao próximo nível.
As GPUs proporcionam um engajamento 16% maior
A Pinterest, empresa de mídias sociais que compartilha imagens, mudou para modelos de recomendação 100 vezes maiores adotando GPUs NVIDIA. Isso aumentou o engajamento em 16% para seus mais de 400 milhões de usuários.
“Normalmente, ficaríamos felizes com um aumento de 2%, e 16% é apenas um começo”, disse um engenheiro de software da empresa em um blog recente. “Observamos ganhos adicionais, ele abre muitas portas para oportunidades.”
A próxima geração da plataforma de AI da NVIDIA promete ganhos ainda maiores para as empresas que processam grandes conjuntos de dados com modelos de recomendação superdimensionados.
Como os dados são o combustível da AI, o Grace Hopper foi projetado para injetar mais dados nos sistemas de recomendação do que qualquer outro processador do planeta.
NVLink Acelera o Grace Hopper
O Grace Hopper consegue isso porque é um superchip: dois chips em uma unidade, compartilhando uma interconexão super-rápida entre chips. Trata-se de uma CPU NVIDIA Grace baseada em ARM e uma GPU Hopper que se comunicam pelo NVIDIA NVLink-C2C.
Além disso, o NVLink também conecta muitos superchips a um supersistema, um cluster de computação criado para executar sistemas de recomendação em terabytes.
O NVLink transporta dados a impressionantes 900 gigabytes por segundo: 7 vezes a largura de banda da PCIe 5.0, a interconexão que os sistemas mais avançados do edge usarão.
Isso significa que GraceXon alimenta os sistemas de recomendação 7 vezes mais das incorporações, tabelas de dados repletas de contexto, de que elas precisam personalizar os resultados para os usuários.
Mais Memória, Mais Eficiência
A CPU Grace usa LPDDR5X, um tipo de memória que atinge o equilíbrio ideal de largura de banda, eficiência energética, capacidade e custo para sistemas de recomendação e outras cargas de trabalho exigentes. Ela oferece uma largura de banda 50% maior ao usar um oitavo da potência por gigabyte dos subsistemas tradicionais de memória DDR5.
Qualquer GPU Hopper em um cluster pode acessar a memória do Grace através do NVLink. É uma característica do Grace Hopper que fornece as maiores pools de memória de GPU de todos os tempos.
Além disso, o NVLink-C2C requer apenas 1,3 picojoules por bit transferidos, dando a ele mais de 5 vezes a eficiência energética do PCIe 5.0.
Como resultado geral, os sistemas de recomendação obtêm um desempenho até 4 vezes maior e mais eficiência usando Grace Hopper do que usando Hopper com CPUs tradicionais (veja o gráfico abaixo).
Todos os Softwares Necessários
O Superchip Grace Hopper executa o pacote completo de softwares de AI da NVIDIA usado em alguns dos maiores sistemas de recomendação do mundo atualmente.
O NVIDIA Merlin é o combustível inicial dos sistemas de recomendação, uma coleção de modelos, métodos e bibliotecas para criação de sistemas de AI que podem oferecer previsões melhores e aumentar os cliques.
O NVIDIA Merlin HugeCTR, um framework de recomendação, ajuda os usuários a processar grandes conjuntos de dados rapidamente em clusters distribuídos de GPUs com a ajuda da Biblioteca de Comunicações Coletivas da NVIDIA.
Saiba mais sobre Grace Hopper e NVLink neste blog técnico. Assista a esta sessão do GTC para saber mais sobre a criação de sistemas de recomendação.
Você também pode ouvir o CEO e cofundador da NVIDIA, Jensen Huang, fornecer uma perspectiva sobre os sistemas de recomendação aqui ou assistir à apresentação completa do GTC abaixo.