Motion2Motion: uma ferramenta de migração de animação de movimento de personagens que suporta diferentes estruturas de esqueleto

O Motion2Motion é uma estrutura de migração de movimento sem treinamento que se concentra na solução do problema de migração de animação entre personagens com estruturas esqueléticas diferentes. As técnicas tradicionais de redirecionamento de animação geralmente exigem que os personagens de origem e de destino tenham topologias esqueléticas semelhantes, o que é difícil quando se lida com personagens muito diferentes (por exemplo, humanos e quadrúpedes), mas o Motion2Motion propõe uma abordagem inovadora que elimina a necessidade de conjuntos de dados de movimento emparelhados em grande escala para treinamento e, em vez disso, exige apenas que o usuário forneça um pequeno número de movimentos de amostra do personagem de destino e especifique correspondências esparsas (pelo menos 6) entre os esqueletos de origem e de destino para obter uma migração de movimento de alta qualidade. A estrutura requer apenas que o usuário forneça um pequeno número de movimentos de amostra do personagem-alvo e especifique correspondências esparsas entre os esqueletos de origem e de destino (no mínimo, apenas 6) para obter uma migração de movimentos de alta qualidade. A estrutura mapeia os segmentos de ação do personagem de origem para o espaço de ação do personagem de destino por meio de uma nova abordagem de correspondência de movimento e, por fim, reconstrói uma animação natural e coerente, o que é muito conveniente para os criadores nas áreas de desenvolvimento de jogos, animação de filmes e televisão, etc.

Lista de funções

• Redirecionamento de ações entre topologiasSuporte para migração de movimentos entre personagens com estruturas esqueléticas muito diferentes, por exemplo, migrar os movimentos de ataque de uma cobra para um Tiranossauro Rex.
• Redirecionamento de animação bipedal e quadrupedalA seguir, um exemplo de transformação de movimento de alta qualidade entre personagens com diferentes padrões de movimento, por exemplo, migrando o movimento de caminhada de um flamingo para um macaco e gerando dinâmicas naturais de membros, braços e cauda.
• Correspondência de correspondência óssea esparsaO usuário não precisa vincular tediosamente todos os ossos um a um, mas precisa apenas especificar um pequeno número (pelo menos 6) de correspondências de ossos-chave para que o sistema conclua a migração do movimento.
• Suporte para quadros-chave de origem esparsaO sistema é capaz de reconstruir com sucesso uma animação de destino completa e coerente, mesmo que a animação de origem de entrada seja esparsa com quadros-chave descontínuos.
• Integração do plug-in do BlenderO plug-in do Blender é fornecido para que os animadores realizem operações de redirecionamento de movimento visual em tempo real em um fluxo de trabalho profissional.
• Compatível com os modelos SMPLMovimento capturado com base em manequins padrão, como o SMPL, pode ser facilmente migrado para personagens de jogos com trajes complexos e efeitos dinâmicos.

Usando a Ajuda

No centro do Motion2Motion está uma estrutura de migração de movimento sem treinamento, o que significa que os usuários podem usá-la imediatamente, sem a necessidade de preparar conjuntos de dados em grande escala ou realizar treinamento de modelos complexos. Ele é fornecido aos usuários finais principalmente por meio de um plug-in do Blender, permitindo uma integração perfeita em ambientes de produção de animação profissional.

Fluxo de trabalho principal

De acordo com a visão geral do sistema em sua página inicial do projeto, o fluxo de trabalho do Motion2Motion pode ser entendido nas seguintes etapas:

1. Preparação para inserir dados:
   • Movimento de origemSequência: Uma sequência de animação que você deseja migrar, como uma animação capturada de uma pessoa dançando.
   • Esqueleto alvoEsqueleto: O esqueleto do modelo de personagem ao qual você deseja aplicar a animação, como um personagem monstro em um jogo.
   • Banco de dados de movimento do alvoPreparação de um ou alguns clipes de ação exemplares para o personagem-alvo: Essa biblioteca não precisa ser grande e é usada para a compreensão sistemática das características de movimento do personagem-alvo.
2. Definição de correspondência esparsa:
   Essa é a etapa mais importante de todo o processo. O usuário precisa criar uma associação entre os ossos do personagem de origem e do personagem de destino. Ao contrário dos métodos tradicionais, o Motion2Motion não exige uma associação de um para um de cada osso.
   • Na interface do plug-in do Blender, você só precisa selecionar algumas partes importantes dos esqueletos dos dois personagens que tenham cinemática semelhante a ser combinada. Por exemplo, associe a "cabeça" do personagem de origem com a "cabeça" do personagem de destino, a "mão esquerda" com a "pata dianteira esquerda" do alvo, a "coluna vertebral" com a "coluna vertebral" do alvo e a "coluna vertebral" com a "coluna vertebral" do alvo. "mão esquerda" com a "pata dianteira esquerda" do alvo, a "espinha" com a "espinha" do alvo etc.
   • De acordo com a demonstração oficial, um mínimo de apenas 6 pares de ossos-chave, como cabeça, coluna vertebral, quadril, pé esquerdo e direito e mão esquerda, precisam ser vinculados para obter o efeito desejado. Esse mapeamento esparso reduz bastante a complexidade da pré-configuração.
3. Ação de execução Migração:
   • Quando as configurações estiverem concluídas, inicie o processo de migração no plug-in. O sistema executará automaticamente a operação em segundo plano.
   • Divisão e correspondência de movimentosPrimeiramente, o sistema divide a sequência de movimentos de origem em vários "Motion Patches" minúsculos e sobrepostos.
   • Projeção e recuperação espacialEm seguida, ele usará a relação de mapeamento ósseo esparso que você definiu para "projetar" cada fragmento de ação de origem no espaço ósseo do personagem-alvo, formando uma "solicitação de consulta". Em seguida, o sistema usará essa solicitação de consulta para pesquisar a biblioteca de ações de amostra do personagem-alvo que você forneceu para encontrar o fragmento de ação mais adequado.
   • Integração e reconstruçãoO sistema executa a média ponderada e a fusão de todos os clipes de movimento alvo recuperados que melhor correspondem ao personagem alvo e, por fim, reconstrói uma animação completa e suave que corresponde à estrutura física do personagem alvo com base no resultado da fusão.

Operações no plug-in do Blender

O vídeo oficial demonstra a interface em tempo real do plug-in do Blender, tornando o processo de uso muito intuitivo para os animadores:

1. Importação de modelos e animaçõesImportar o personagem de origem (e suas ações) e o personagem de destino em uma cena do Blender.
2. Abra o plug-in Motion2Motion: Após iniciar o plug-in, um painel de controle especial será exibido.
3. Atribuição de funções e açõesNo painel, atribua o caractere de origem e o caractere de destino aos campos correspondentes, respectivamente. Carregue os dados de ação do caractere de origem.
4. Criação de correspondência ósseaO plug-in fornecerá uma interface visual que permitirá que você selecione facilmente os ossos de origem e de destino e crie relações de emparelhamento. Você pode ver em tempo real quais ossos estão vinculados (por exemplo, com cores destacadas).
5. Redirecionamento em tempo realFunção de redirecionamento em tempo real: Após a conclusão da vinculação, a função de redirecionamento em tempo real é ativada. Quando você reproduzir a animação do personagem de origem, o personagem de destino se moverá de acordo com o resultado do algoritmo em tempo real, o que é conveniente para você visualizar e ajustar imediatamente.
6. Exportar resultadosSe estiver satisfeito com os resultados, você poderá incorporar os dados de animação gerados ao esqueleto do personagem-alvo para uso em um mecanismo de jogo ou em outro software 3D.

Para os desenvolvedores que desejam se aprofundar ou fazer um desenvolvimento secundário, você pode visitar o site oficial do projetoCodepara obter o código-fonte e seguir sua documentação para configuração e uso do ambiente.

cenário do aplicativo

1. desenvolvimento de jogos
   No desenvolvimento de jogos, muitas vezes é necessário animar personagens com formas diferentes (por exemplo, monstros, alienígenas, animais). Com o Motion2Motion, as equipes de desenvolvimento podem gerar rapidamente animações de alta qualidade para personagens não humanos em jogos usando o mesmo conjunto de dados de captura de movimento para atores humanos, economizando drasticamente o custo e o tempo de animar manualmente cada personagem exclusivo.
2. animação para cinema e televisão
   Na produção de filmes de animação ou de efeitos especiais, os animadores podem reutilizar as bibliotecas existentes de animação de alta qualidade. Por exemplo, pegue a animação de corrida de um cavalo que já existe em um arquivo e migre-a para uma criatura fictícia de fantasia, mantendo o realismo do movimento e a singularidade do personagem.
3. Realidade virtual e o metaverso
   Em aplicativos de RV ou plataformas de meta-universo, em que o avatar do usuário varia muito, o Motion2Motion pode aplicar os movimentos corporais do usuário (capturados por rastreadores de RV) em tempo real a qualquer avatar de qualquer formato, seja ele um humanoide padrão ou um animal de desenho animado, garantindo que os movimentos sejam naturalmente coordenados.
4. Pesquisa em robótica
   Os pesquisadores podem usar a tecnologia para migrar padrões de movimento humano ou animal para robôs para planejamento de movimentos e testes de simulação de robôs, acelerando o processo de desenvolvimento de robôs biônicos.

QA

1. O que é o Motion2Motion?
   O Motion2Motion é um projeto de pesquisa em computação gráfica publicado na SIGGRAPH Asia 2025. Ele propõe uma estrutura nova e sem treinamento para migração de animação entre personagens com estruturas esqueléticas muito diferentes.
2. Essa ferramenta requer muitos dados de treinamento?
   O Motion2Motion é uma estrutura "sem treinamento". O Motion2Motion é uma estrutura "sem treinamento" que não depende de grandes conjuntos de dados de ações emparelhadas. Tudo o que você precisa é de uma ou algumas ações de amostra simples para o personagem-alvo.
3. Como devo usar o Motion2Motion?
   Para animadores ou designers, a maneira mais direta de usá-lo é por meio do plug-in do Blender fornecido oficialmente. Você pode importar seu modelo no Blender, configurar correspondências ósseas esparsas por meio da interface do plug-in e, em seguida, visualizar e gerar a animação redirecionada em tempo real. Para os desenvolvedores, é possível obter o código-fonte na página do GitHub para integração e desenvolvimento mais profundos.
4. Que tipos de migrações de animação de personagens ele suporta?
   A estrutura é muito flexível e oferece suporte a uma ampla gama de cenários de migração complexos, incluindo:

• migração intraespecíficaPor exemplo, migração de um tipo de cobra para outro.
• migração entre espéciesPor exemplo, migração de cobras para o Tyrannosaurus rex.
• Migração de bípede para quadrúpedePor exemplo, migração de humanos ou pássaros para quadrúpedes, como macacos, ursos ou cães.
• Modelos padrão para personagens de jogosPor exemplo, migrar os movimentos de um manequim SMPL para um personagem de jogo de fantasia complexo.