A Moment Factory é um estúdio global de entretenimento multimídia que combina especializações em vídeo, iluminação, arquitetura, som, software e interatividade para criar experiências imersivas para públicos de todo o mundo.
De performances ao vivo e shows multimídia a instalações interativas, a Moment Factory é conhecida por algumas das experiências mais inspiradoras e divertidas que unem as pessoas no mundo real. Isso inclui visuais deslumbrantes na turnê mundial Happier Than Ever de Billie Eilish, Lumina Night Walks em locais naturais ao redor do mundo e placemaking digital no AT&T Discovery District.
Com uma equipe de mais de 400 profissionais e escritórios em Montreal, Tóquio, Paris, Nova York e Cingapura, a Moment Factory tornou-se líder global na indústria do entretenimento.
Simplificando o Desenvolvimento de Experiência Imersiva com OpenUSD
Dar vida a essas experiências requer grandes equipes de especialistas altamente qualificados com diversas especialidades, todos usando ferramentas exclusivas. Para alcançar a eficiência ideal em seus processos de produção altamente complexos, a Moment Factory procurou implementar um formato de dados aberto e interoperável e uma plataforma de desenvolvimento que pudesse integrar perfeitamente todos os aspectos, do conceito à operação.
A Moment Factory escolheu o Universal Scene Description, também conhecido como OpenUSD, como solução. OpenUSD é um framework e ecossistema extensível para descrever, compor, simular e colaborar em mundos 3D. NVIDIA Omniverse é uma plataforma de software que permite às equipes desenvolver workflows e aplicações 3D baseadas em OpenUSD. Ele fornece um ambiente unificado para visualizar e colaborar em gêmeos digitais em tempo real com conexões ao vivo com as ferramentas do Moment Factory.
Usar OpenUSD com Omniverse permite que a Moment Factory unifique dados de suas diversas ferramentas de criação de conteúdo digital (DCC) para formar um gêmeo digital de um ambiente do mundo real. Cada membro da equipe pode interagir com esse gêmeo digital e iterar em seu aspecto do projeto sem afetar outros elementos
Por exemplo, um cenógrafo pode trabalhar em um cenário básico e peças de cena exclusivas usando o Vectorworks, software de design 3D. Ao mesmo tempo, na mesma cena, um designer AV (audiovisual) e de iluminação pode cuidar da iluminação e dos projetores com o sistema operacional de entretenimento ao vivo proprietário da Moment Factory e o software de mapeamento de projeção virtual, X-Agora.
Simultaneamente, artistas e designers podem renderizar e criar visuais atraentes na cena usando ferramentas como Unreal Engine da Epic Games, Blender e Adobe Photoshop sem afetar as camadas do projeto ainda em andamento.
“O USD é único porque pode ser fragmentado em pedaços menores que permitem que as pessoas trabalhem em suas próprias partes exclusivas de um projeto enquanto permanecem conectadas”, disse Arnaud Grosjean, arquiteto de soluções e líder de projeto da equipe de inovação da Moment Factory. “Sua flexibilidade e interoperabilidade nos permitem criar pipelines 3D poderosos e personalizados.”
Gêmeos Digitais Simulam Experiências do Mundo Real
Para simular eventos imersivos antes de implementá-los no mundo real, a Moment Factory está desenvolvendo gêmeos digitais de suas instalações no NVIDIA Omniverse. Omniverse, uma plataforma de computação que permite às equipes desenvolver workflows e aplicações 3D baseados em OpenUSD, fornece um ambiente unificado para visualizar e colaborar em gêmeos digitais em tempo real com conexões ao vivo com ferramentas DCC.
O primeiro gêmeo digital que eles criaram é o Blackbox, que serve como um espaço de experimentação e prototipagem onde podem visualizar fragmentos de experiências imersivas antes da implantação no mundo real. É um espaço crítico para quase todas as fases do ciclo de vida do projeto, desde a concepção e design até a integração e operação.
Para construir o gêmeo digital do Blackbox, a Moment Factory usou o USD Composer, uma aplicação básica totalmente personalizável desenvolvida no NVIDIA Omniverse.
A réplica virtual da instalação permite que a equipe execute inúmeras iterações no projeto para testar vários fatores. Eles também podem vender melhor conceitos de experiências imersivas para clientes em potencial, que podem ver o programa antes da produção ao vivo em um ambiente virtual.
Um dos principais desafios no processo de construção de experiências imersivas em grande escala é chegar a um consenso entre as diversas partes interessadas e gerir as mudanças.
“Cada um tem a sua própria ideia de como uma cena deve ser estruturada, por isso precisávamos de uma forma de alinhar todos os que contribuem para o projeto num ambiente unificado e dinâmico”, explicou Grosjean. “Com o gêmeo digital, ideias potenciais podem ser testadas e simuladas com as partes interessadas em todas as especialidades essenciais.”
À medida que desenhistas de CAD, designers AV, designers interativos e outros contribuem para o gêmeo digital do Blackbox, artistas e designers 2D/3D podem renderizar e experimentar belas fotos da experiência imersiva em ação.
Desenvolvendo Conectores e Extensões do Omniverse
A Moment Factory está continuamente construindo e testando extensões para Omniverse para trazer novas funcionalidades e possibilidades para seus gêmeos digitais.
Eles desenvolveram um Omniverse Connector para X-Agora, seu software proprietário para vários monitores que permite projetar, planejar e operar shows. O software agora tem uma implementação funcional de uma conexão Nucleus, importação/exportação de USD e uma implementação inicial de modo ao vivo.
A projeção de vídeo é um elem ento-chave dos eventos imersivos. A equipe frequentemente experimenta mapear e projetar conteúdo visual em superfícies arquitetônicas, elementos cênicos e, às vezes, até objetos em movimento, transformando espaços estáticos em ambientes dinâmicos e cativantes.
NDI, que significa Network Design Interface, é um protocolo de vídeo IP popular desenvolvido pela NewTek que permite produção e streaming eficientes de vídeo ao vivo em dispositivos e sistemas interconectados. Em suas experiências imersivas, a Moment Factory normalmente conecta um sistema de mídia a projetores físicos usando cabos de vídeo. Com o NDI, eles podem replicar essa conexão em um local virtual, simulando efetivamente toda a experiência digitalmente.
Para permitir conectividade perfeita entre o Omniverse RTX Renderer e seu conteúdo criativo, a Moment Factory desenvolveu uma extensão NDI para Omniverse. A extensão oferece suporte a mais do que apenas projeção de vídeo e permite que a equipe simule paredes de LED, telas e campos de pixels para espelhar sua configuração do mundo real no gêmeo digital.
A extensão, desenvolvida com Omniverse Kit, também permite aos usuários usar feeds de vídeo como texturas dinâmicas. Os desenvolvedores da Moment Factory usaram o kit-cv-video-example e o kit-dynamic texture-example para desenvolver a extensão.
Qualquer pessoa pode acessar e usar a extensão Omniverse-NDI da Moment Factory no GitHub e instalá-la no Omniverse Launcher ou iniciá-la com:
$ ./link_app.bat –app create
$ ./app/omni.create.bat –/rtx/ecoMode/enabled=false –ext-folder exts –enable mf.ov.ndi
As extensões no Omniverse servem como componentes ou ferramentas reutilizáveis que os desenvolvedores podem construir para acelerar e adicionar novas funcionalidades para workflows 3D. Elas podem ser criadas para tarefas simples, como randomização de objetos, ou usadas para permitir workflows mais complexos, como scripts visuais.
A equipe também desenvolveu uma extensão para converter MPDCI, um padrão VESA que descreve plataformas multiprojetores, para USD, chamada Omniverse-MPCDI-converter. Atualmente, eles estão testando extensões para conversores MVR (My Virtual Rig) e GDTF (General Device Type Format) para importar luminárias e equipamentos para seus gêmeos digitais.
Ainda mais atraente é uma extensão do simulador lidar UDP, que está sendo desenvolvida para permitir a simulação de sensores no Omniverse e conectar dados sintéticos a software compatível com lidar.
Você pode usar as extensões NDI e MPDCI da Moment Factory hoje mesmo em seus workflows. Fique ligado em novas extensões em breve.
Para construir extensões como a Moment Factory, comece com todos os Recursos do Desenvolvedor Omniverse necessários, como documentação, tutoriais, recursos em USD, exemplos do GitHub e muito mais.
Comece a usar o NVIDIA Omniverse fazendo download gratuitamente da licença padrão ou saiba como o Omniverse Enterprise pode conectar sua equipe.
Os desenvolvedores podem verificar esses recursos do Omniverse para começar a construir na plataforma.