Experiência interativa dinâmica inovadora
O sistema interativo do Genie 3 implementa três grandes inovações tecnológicas: em primeiro lugar, um pipeline de renderização autorregressivo de 24 quadros por segundo, que mantém a coerência da tela por meio de um mecanismo de atenção espacial; em segundo lugar, um módulo de previsão de resposta comportamental, que entende comandos como "vire à esquerda em 30 graus" e calcula os 300 quadros subsequentes; e, por último, uma matriz de memória de cena, que usa uma arquitetura neural semelhante ao hipocampo do cérebro. Por fim, a matriz de memória de cena, que usa uma arquitetura neural semelhante ao hipocampo do cérebro, garante que os objetos da cena permaneçam em seu estado original quando o usuário retornar após 5 minutos longe da área original (testado com uma precisão de 92%). Em comparação com a Runway e outras ferramentas de geração de vídeo, o atraso da interação é controlado em 80 ms, atingindo o padrão de experiência em nível de jogo, o que é um avanço de hardware obtido pelo chip de processamento de tensor especial TPUv5.
Essa resposta foi extraída do artigoGenie 3: Geração de mundos virtuais que podem ser interagidos em tempo realO
