IA em Suas Próprias Palavras: NVIDIA Lança Microsserviços NeMo Retriever para IA Generativa Multilíngue Impulsionada por Dados

por Erik Pounds

Na IA corporativa, entender e trabalhar em vários idiomas não é mais opcional, é essencial para atender às necessidades de funcionários, clientes e usuários em todo o mundo.

A recuperação de informações multilíngues, a capacidade de pesquisar, processar e recuperar conhecimento em vários idiomas, desempenha um papel fundamental para permitir que a IA forneça resultados mais precisos e globalmente relevantes.

As empresas podem expandir seus esforços de IA generativa em sistemas precisos e multilíngues usando o NVIDIA NeMo Retriever incorporando e reclassificando microsserviços NVIDIA NIM, que agora estão disponíveis no catálogo de APIs da NVIDIA. Esses modelos podem entender informações em uma ampla variedade de idiomas e formatos, como documentos, para fornecer resultados precisos e sensíveis ao contexto em grande escala.

Com o NeMo Retriever, as empresas agora podem:

  • Extraia conhecimento de conjuntos de dados grandes e diversos para obter contexto adicional para fornecer respostas mais precisas.
  • Conecte perfeitamente a IA generativa aos dados corporativos na maioria dos principais idiomas globais para expandir o público de usuários.
  • Forneça inteligência acionável em maior escala com eficiência de armazenamento de dados 35 vezes maior por meio de novas técnicas, como suporte a contexto longo e dimensionamento de incorporação dinâmica.
Os novos microsserviços do NeMo Retriever reduzem as necessidades de volume de armazenamento em 35 vezes, permitindo que as empresas processem mais informações de uma só vez e encaixem grandes bases de conhecimento em um único servidor. Isso torna as soluções de IA mais acessíveis, econômicas e mais fáceis de dimensionar entre as empresas.

Os principais parceiros da NVIDIA, como DataStax, Cohesity, Cloudera, Nutanix, SAP, VAST Data e WEKA, já estão adotando esses microsserviços para ajudar empresas de todos os setores a conectar com segurança modelos personalizados a fontes de dados diversas e grandes. Usando técnicas de geração aumentada por recuperação (RAG),o NeMo Retriever permite que os sistemas de IA acessem informações mais ricas e relevantes e superem efetivamente as divisões linguísticas e contextuais.

Wikidata Acelera o Processamento de Dados de 30 Dias para Menos de Três Dias

Em parceria com a DataStax, a Wikimedia implementou o NeMo Retriever para incorporar vetores ao conteúdo da Wikipédia, atendendo a bilhões de usuários. A incorporação vetorial, ou “vetorização”, é um processo que transforma dados em um formato que a IA pode processar e entender para extrair insights e impulsionar a tomada de decisões inteligentes.

A Wikimedia usou a incorporação do NeMo Retriever e a reclassificação de microsserviços NIM para vetorizar mais de 10 milhões de entradas do Wikidata em formatos prontos para IA em menos de três dias, um processo que costumava levar 30 dias. Essa aceleração de 10 vezes permite acesso escalável e multilíngue a um dos maiores gráficos de conhecimento de código aberto do mundo.

Este projeto inovador garante atualizações em tempo real para centenas de milhares de entradas que estão sendo editadas diariamente por milhares de colaboradores, melhorando a acessibilidade global para desenvolvedores e usuários. Com o modelo sem servidor do Astra DB e as tecnologias de IA da NVIDIA, a oferta da DataStax oferece latência quase zero e escalabilidade excepcional para suportar as demandas dinâmicas da comunidade Wikimedia.

A DataStax está usando os NVIDIA AI Blueprints e integrando os microsserviços NVIDIA NeMo Customizer, Curator, Evaluator e Guardrails ao construtor de código LangFlow AI para permitir que o ecossistema de desenvolvedores otimize modelos e pipelines de IA para seus casos de uso exclusivos e ajude as empresas a dimensionar suas aplicações de IA.

A IA Com Inclusão de Idiomas Impulsiona o Impacto Global nos Negócios

O NeMo Retriever ajuda empresas globais a superar barreiras linguísticas e contextuais e liberar o potencial de seus dados. Ao implantar soluções robustas de IA, as empresas podem obter resultados precisos, escaláveis e de alto impacto.

A plataforma e os parceiros de consultoria da NVIDIA desempenham um papel crítico para garantir que as empresas possam adotar e integrar com eficiência recursos de IA generativa, como os novos microsserviços multilíngues do NeMo Retriever. Esses parceiros ajudam a alinhar as soluções de IA às necessidades e recursos exclusivos de uma empresa, tornando a IA generativa mais acessível e eficaz. Eles incluem:

  • Cloudera planeja expandir a integração da IA da NVIDIA no Cloudera AI Inference Service. Atualmente incorporado ao NVIDIA NIM, o Cloudera AI Inference incluirá o NVIDIA NeMo Retriever para melhorar a velocidade e a qualidade dos insights para casos de uso multilíngues.
  • Cohesity apresentou o primeiro assistente de pesquisa conversacional com IA generativa do setor que usa dados de backup para fornecer respostas perspicazes. Ele usa o microsserviço de reclassificação NVIDIA NeMo Retriever para melhorar a precisão da recuperação e melhorar significativamente a velocidade e a qualidade dos insights para várias aplicações.
  • SAP está usando os recursos de aterramento do NeMo Retriever para adicionar contexto ao recurso de perguntas e respostas do copiloto Joule e às informações recuperadas de documentos personalizados.
  • VAST Data está implantando microsserviços do NeMo Retriever no VAST Data InsightEngine com NVIDIA para disponibilizar novos dados instantaneamente para análise. Isso acelera a identificação de insights de negócios, capturando e organizando informações em tempo real para decisões baseadas em IA.
  • WEKA está integrando sua arquitetura WEKA AI RAG Reference Platform (WARRP) com NVIDIA NIM e NeMo Retriever em sua plataforma de dados de baixa latência para fornecer soluções de IA multimodais escaláveis, processando centenas de milhares de tokens por segundo.

Quebrando as Barreiras Linguísticas com a Recuperação de Informações Multilíngues

A recuperação de informações multilíngues é vital para que a IA corporativa atenda às demandas do mundo real. O NeMo Retriever oferece suporte à recuperação de texto eficiente e precisa em vários idiomas e conjuntos de dados multilíngues. Ele foi projetado para casos de uso corporativo, como sistemas de pesquisa, resposta a perguntas, resumo e recomendação.

Além disso, aborda um desafio significativo na IA corporativa: lidar com grandes volumes de documentos grandes. Com suporte a contexto longo, os novos microsserviços podem processar contratos longos ou registros médicos detalhados, mantendo a precisão e a consistência em interações estendidas.

Esses recursos ajudam as empresas a usar seus dados com mais eficiência, fornecendo resultados precisos e confiáveis para funcionários, clientes e usuários, ao mesmo tempo em que otimizam os recursos para escalabilidade. Ferramentas avançadas de recuperação multilíngue, como o NeMo Retriever, podem tornar os sistemas de IA mais adaptáveis, acessíveis e impactantes em um mundo globalizado.

Disponibilidade

Os desenvolvedores podem acessar os microsserviços multilíngues do NeMo Retriever e outros microsserviços NIM para recuperação de informações, por meio do catálogo de APIs da NVIDIA ou de uma licença gratuita de desenvolvedor para NVIDIA AI Enterprise de 90 dias.

Saiba mais sobre os novos microsserviços do NeMo Retriever e como usá-los para criar sistemas eficientes de recuperação de informações.