O assistente de voz de AI mais popular da Coreia do Sul, GiGA Genie, conversa com 8 milhões de pessoas todos os dias.
O atendente com tecnologia fornecida por IA da empresa de telecomunicações KT pode controlar as TVs, oferecer atualizações de tráfego em tempo real e concluir uma série de outras tarefas de assistência domiciliar com base em comandos de voz. Ele dominou suas habilidades de conversação na linguagem coreana altamente complexa graças a grandes modelos de linguagem (LLMs – Large Language Models), algoritmos de machine learning que podem reconhecer, entender, prever e gerar linguagens humanas com base em enormes conjuntos de dados de texto.
Os modelos da empresa são criados com a plataforma de infraestrutura de data center NVIDIA DGX SuperPOD e o framework NeMo Megatron para treinamento e implantação de LLMs com bilhões de parâmetros.
A língua coreana, conhecida como Hangul, sempre aparece em listas das línguas mais desafiadoras do mundo. Ela inclui quatro tipos de verbos compostos, e as palavras são muitas vezes compostas de duas ou mais raízes.
A KY, operadora móvel líder da Coreia do Sul, com mais de 22 milhões de assinantes, melhorou a compreensão do atendente inteligente sobre essas palavras, desenvolvendo LLMs com cerca de 40 bilhões de parâmetros. Além disso, com a integração com a Amazon Alexa, o GiGA Genie também pode conversar com os usuários em inglês.
“Com modelos baseados em transformers, obtivemos melhorias significativas de qualidade para o atendente inteligente GiGA Genie, bem como nossa plataforma de serviços ao cliente AI Contact Center ou AICC”, disse Hwijung Ryu, Líder da Equipe de Desenvolvimento de LLMs na KT.
O AICC é uma plataforma all-in-one baseada em cloud que oferece agentes de voz de AI e outras aplicações relacionadas ao atendimento ao cliente.
Ele pode receber chamadas e fornecer informações solicitadas ou conectar rapidamente clientes a agentes humanos para obter respostas a perguntas mais detalhadas. O AICC sem intervenção humana gerencia mais de 100.000 chamadas diárias em toda a Coreia, de acordo com Ryu.
“Os LLMs permitem que o GiGA Genie obtenha uma melhor compreensão de linguagem e gere mais frases humanas, e o AICC reduz o tempo de consulta em 15 segundos à medida que resume e classifica os tipos de perguntas mais rapidamente”, acrescentou.
Treinando Grandes Modelos de Linguagem
O desenvolvimento de LLMs pode ser um processo caro e demorado que exige profunda experiência técnica e investimentos em tecnologia de pacote completo.
A plataforma de AI da NVIDIA simplificou e acelerou esse processo para a KT.
“Treinamos nossos LLMs de maneira mais eficaz com o poderoso desempenho do NVIDIA DGX SuperPOD, bem como os algoritmos otimizados e as técnicas de paralelismo 3D do NeMo Megatron”, disse Ryu. “O NeMo Megatron está adotando continuamente novos recursos, o que é a maior vantagem que acreditamos que ele oferece para melhorar a precisão de nossos modelos.”
O paralelismo 3D, um método de treinamento distribuído no qual um modelo de deep learning de escala extremamente grande é particionado em vários dispositivos, foi crucial para o treinamento dos LLMs da KT. O NeMo Megatron permitiu que a equipe realizasse essa tarefa facilmente com o mais alto rendimento, de acordo com Ryu.
“Consideramos usar outras plataformas, mas era difícil encontrar uma alternativa que fornecesse ambientes de pacote completo, do nível do hardware ao nível da inferência”, acrescentou. “A NVIDIA também oferece experiência excepcional de equipes de produtos, engenharia e muito mais, por isso solucionamos facilmente vários problemas técnicos.”
Usando ferramentas de otimização de hiperparâmetros no NeMo Megatron, a KT treinou seus LLMs 2 vezes mais rápido do que com outros frameworks, disse Ryu. Essas ferramentas permitem que os usuários encontrem automaticamente as melhores configurações para treinamento e inferência de LLMs, facilitando e acelerando o processo de desenvolvimento e implantação.
A KT também planeja usar o Servidor de Inferência NVIDIA Triton para oferecer um serviço otimizado de inferência em tempo real, além do NVIDIA Base Command Manager para monitorar e gerenciar facilmente centenas de nós em seu cluster de AI.
“Graças aos LLMs, a KT pode lançar produtos competitivos mais rápido do que nunca”, disse Ryu. “Também acreditamos que nossa tecnologia pode impulsionar a inovação de outras empresas, pois ela pode ser usada para melhorar seu valor e criar produtos inovadores.”
A KT planeja lançar mais de 20 APIs de compreensão de linguagem natural e geração de linguagem natural para desenvolvedores em novembro. As interfaces de programação de aplicações podem ser usadas para tarefas como sumarização e classificação de documentos, reconhecimento de emoções e filtragem de conteúdo potencialmente inapropriado.
Saiba mais sobre tecnologias inovadoras para a era da IA e do metaverso no NVIDIA GTC, que acontecerá on-line até quinta-feira, 22 de setembro.
Assista abaixo ao replay da apresentação do fundador e CEO da NVIDIA, Jensen Huang: