É difícil imaginar um setor mais competitivo, ou acelerado, do que o varejo online.
Os vendedores precisam criar listagens de produtos atraentes e informativas que devem ser envolventes, capturar a atenção e gerar confiança.
A Amazon usa contêineres otimizados no Amazon Elastic Compute Cloud (Amazon EC2) com GPUs NVIDIA Tensor Core para impulsionar uma ferramenta de IA generativa que encontra esse equilíbrio na velocidade do varejo moderno.
Os novos recursos de IA generativa da Amazon ajudam os vendedores a criar títulos, marcadores, descrições e atributos de produto atraentes.
Para começar, a Amazon identifica listagens onde o conteúdo pode ser melhorado e aproveita a IA generativa para gerar conteúdo de alta qualidade automaticamente. Os vendedores analisam o conteúdo gerado e podem fornecer comentários se quiserem ou aceitarem as alterações de conteúdo no catálogo da Amazon.
Anteriormente, a criação de listagens detalhadas de produtos exigia tempo e esforço significativos para os vendedores, mas esse processo simplificado lhes dá mais tempo para se concentrar em outras tarefas.
O software NVIDIA TensorRT-LLM está disponível hoje no GitHub e pode ser acessado por meio do NVIDIA AI Enterprise, que oferece segurança, suporte e confiabilidade de nível empresarial para IA de produção.
O software de código aberto TensorRT-LLM torna a inferência de IA mais rápida e inteligente. Ele funciona com grandes modelos de linguagem (LLMs), como os modelos da Amazon para os recursos acima, que são treinados em grandes quantidades de texto.
Nas GPUs NVIDIA H100 Tensor Core, o TensorRT-LLM permite uma aceleração de até 8 vezes em LLMs básicos, como Llama 1 e 2, Falcon, Mistral, MPT, ChatGLM, Starcoder e muito mais.
Ele também suporta inferência multi-GPU e multi-node, batching em voo, atenção paginada e Hopper Transformer Engine com precisão FP8; Tudo isso melhora as latências e a eficiência para a experiência do vendedor.
Usando GPUs TensorRT-LLM e NVIDIA, a Amazon melhorou a eficiência de inferência de sua ferramenta de IA generativa em termos de custo ou GPUs necessárias em 2 vezes e reduziu a latência de inferência em 3 vezes em comparação com uma implementação anterior sem TensorRT-LLM.
Os ganhos de eficiência o tornam mais ecológico, e a melhoria de latência de 3 vezes torna os recursos generativos do Amazon Catalog mais responsivos.
Os recursos de IA generativa podem economizar tempo dos vendedores e fornecer informações mais ricas com menos esforço. Por exemplo, ele pode enriquecer uma listagem de um mouse sem fio com um design ergonômico, bateria de longa duração, configurações de cursor ajustáveis e compatibilidade com vários dispositivos. Ele também pode gerar atributos do produto, como cor, tamanho, peso e material. Esses detalhes podem ajudar os clientes a tomar decisões informadas e reduzir os retornos.
Com a IA generativa, os vendedores da Amazon podem criar listagens mais envolventes de forma rápida e fácil, ao mesmo tempo em que são mais eficientes em termos de energia, tornando possível alcançar mais clientes e expandir seus negócios mais rapidamente.
Os desenvolvedores podem começar com o TensorRT-LLM hoje, com suporte corporativo disponível por meio do NVIDIA AI Enterprise.