For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/pt/articles/infinihand-streaming-3d-hand-motion-from-53c55163.md.
Uma câmera montada na cabeça registra como as pessoas manipulam objetos, mas transformar essa gravação em movimento 3D útil é difícil. As mã...
Uma câmera montada na cabeça registra como as pessoas manipulam objetos, mas transformar essa gravação em movimento 3D útil é difícil. As mãos se movem, a câmera se move, os dedos desaparecem atrás de objetos e duas mãos podem obstruir uma à outra.
InfiniHand combina localização de mãos, reconstrução detalhada das mãos e estimativa do movimento da câmera em uma estrutura de streaming. Seu objetivo é posicionar poses de mãos sucessivas em um sistema de coordenadas mundial compartilhado, tornando o movimento mais útil para anotação em grande escala e possíveis fluxos de trabalho de aprendizagem incorporada.
O trabalho vem de pesquisadores afiliados ao Shanghai Artificial Intelligence Laboratory, à Shanghai Jiao Tong University e a várias outras universidades. A página do projeto oferece comparações visuais sincronizadas e um visualizador de movimento 3D.
Uma imagem recortada da mão é útil para identificar a articulação dos dedos, mas contém informações limitadas sobre onde a mão está na cena ao redor. Da mesma forma, um movimento na imagem pode resultar de uma mão em movimento, de uma cabeça girando ou de ambos.
Os pipelines tradicionais frequentemente combinam um detector de mãos, um estimador de pose, um sistema de rastreamento de câmera e uma etapa de alinhamento. Erros em uma etapa podem se propagar: uma mão não detectada altera a reconstrução, e uma trajetória de câmera imprecisa altera o movimento global aparente.
O InfiniHand compartilha o contexto geométrico entre essas tarefas. Uma base pré-treinada LingBot-Map extrai características do quadro completo, que dão suporte à localização das mãos esquerda e direita. O componente de reconstrução das mãos combina essas características com informações visuais centradas na mão para recuperar uma articulação mais precisa.
Sua representação de mãos utiliza parâmetros MANO para pose, forma e orientação. A supervisão auxiliar de marcos 2D ajuda a restringir como as mãos 3D previstas são projetadas de volta na imagem. As estimativas de câmera permitem, então, que as mãos reconstruídas sejam expressas no mesmo referencial mundial ao longo do tempo.
Figura do método InfiniHand, reproduzida no relatório da QbitAI/BAAI.
Os pesquisadores reuniram aproximadamente 5.000 horas de vídeo egocêntrico público de nove conjuntos de dados, incluindo ARCTIC, HOT3D e EgoDex. Combinar essas fontes exige mais do que concatenar arquivos: a ordem das mãos, as convenções de coordenadas e os tipos de anotação podem diferir.
O pipeline de pré-processamento padroniza imagens disponíveis, parâmetros de mãos, articulações, máscaras e caixas delimitadoras. Quando possível, ele ajusta parâmetros MANO ausentes a partir de articulações 3D. Sequências com trajetórias de câmera também podem fornecer supervisão no espaço mundial.
A qualidade das anotações é uma preocupação separada. A equipe usa o Sapiens 2 para prever marcos 2D das mãos e os compara com as anotações originais projetadas na imagem. Uma discordância persistente pode indicar associações incorretas, projeções inadequadas ou poses implausíveis.
Segundo o artigo, esse processo remove aproximadamente 30–40% dos dados candidatos de treinamento, com casos incertos reservados para inspeção manual. A figura descreve o processo de limpeza dos candidatos; ela não deve ser usada para inferir um total preciso de horas retidas que os autores não fornecem aqui.
O treinamento segue então em duas etapas:
Essa organização permite que conjuntos de dados com diferentes coberturas de anotação contribuam para as partes do modelo que conseguem supervisionar.
O InfiniHand processa o vídeo recebido em janelas, enquanto retém memória geométrica. Seu contexto inclui informações de referência iniciais, características detalhadas recentes e informações comprimidas de observações mais antigas.
A implementação sobrepõe duas tarefas de previsão: um trabalhador processa a próxima janela pela base, enquanto outro decodifica previsões de mãos e câmera para a janela anterior. A reutilização de características e a redução de tempo ocioso dão suporte a uma taxa de processamento maior.
O artigo relata 11,19 FPS de taxa de processamento de previsão, em comparação com 5,48 FPS para o HaWoR, uma melhoria de 2,04 vezes na comparação reportada. Isso não é uma alegação de operação universal em tempo real a 30 FPS, nem uma velocidade garantida em hardware arbitrário.
Para sequências mais longas, um trabalhador separado executa ajuste de feixe esparso para refinar a trajetória da câmera. Um conjunto binário de quadros-chave retém observações recentes junto a quadros anteriores selecionados. Essa otimização em segundo plano tem custo computacional adicional além da taxa de processamento de previsão reportada.
A avaliação no espaço da câmera abrange 34 cenas ARCTIC, 10 cenas HOT3D, 166 cenas HOI4D e 100 cenas EgoDex. Os pesquisadores comparam o método com vários métodos de reconstrução existentes.
Descreva sua ideia uma vez e o We0 AI pode gerar um site de apresentacao, paginas e CMS, alem de ajudar a atrair clientes e trafego apos o lancamento.
Uma geração completa de projetos para registro gratuito
Melhor para experimentar um fluxo de geração completo e ver rapidamente um primeiro rascunho do projeto.
O relatório destaca PA-p, uma medida que incorpora erro de pose e uma penalidade por detecções perdidas. Valores menores são melhores na comparação reportada:
| Conjunto de dados e métrica | Método de comparação | InfiniHand | Redução reportada |
|---|---|---|---|
| ARCTIC PA-p | ViDiHand: 9,82 mm | 7,72 mm | 21,4% |
| EgoDex PA-p | ViDiHand: 17,22 mm | 7,29 mm | 57,7% |
| EgoDex W-MPJPE no espaço mundial | Dyn-HaMR: 78,41 mm | 28,77 mm | 63,3% |
Essas linhas se referem a diferentes conjuntos de dados e métricas; elas não devem ser calculadas como uma única alegação de precisão. O InfiniHand também relata o menor W-MPJPE entre os métodos comparados em ARCTIC, HOT3D e EgoDex.
Comparação qualitativa alinhada: azul representa o InfiniHand e verde representa a referência. O alinhamento faz parte da visualização e deve ser considerado ao interpretar a concordância aparente.
A fonte também discute exemplos do Ego4D em cenas naturais que envolvem oclusão e interação com objetos. Uma comparação offline ilustrada usa localização externa das mãos para o InfiniHand. Os leitores devem manter essa configuração separada das alegações de localização do modelo unificado; as demonstrações interativas do projeto fornecem o contexto visual relevante.
A recuperação de demonstrações humanas em 3D pode ajudar a preparar dados para manipulação dexterosa, transferência de movimento e pesquisa em aprendizagem por imitação. Transformar mãos reconstruídas em dados de treinamento para robôs ainda exige verificações de qualidade e adaptação à estrutura física do robô.
Os autores identificam várias limitações. O LingBot-Map não recupera inerentemente a escala métrica, portanto é necessário um modelo auxiliar de alinhamento, que pode introduzir erros. Mudanças rápidas de ponto de vista, oclusão severa e visibilidade intermitente das mãos continuam difíceis porque os dados de treinamento adequados são limitados.
A supervisão monocular também pode levar uma deriva de escala variável no tempo para o treinamento. O refinamento esparso ajuda, mas não transforma cada trajetória recuperada em uma medição física exata.
Ele estima localizações das mãos, parâmetros MANO das mãos e trajetórias da câmera a partir de vídeo egocêntrico. Essas estimativas dão suporte ao movimento das mãos representado em um sistema de coordenadas mundial compartilhado.
O movimento das mãos no espaço da câmera muda com o movimento da câmera. Um referencial mundial compartilhado facilita a comparação de trajetórias das mãos entre quadros, levando em conta o ponto de vista em movimento.
A estrutura proposta inclui seu próprio componente de localização. No entanto, a fonte identifica um exemplo qualitativo offline que usa localização externa das mãos, portanto os leitores devem verificar a configuração de cada comparação exibida.
Não. Trata-se da taxa de processamento de previsão sob a avaliação reportada pelos autores. O ajuste de feixe esparso em segundo plano exige trabalho adicional, e o desempenho depende da configuração de execução.
Os pesquisadores comparam anotações projetadas com previsões de marcos 2D das mãos baseadas em imagem e rejeitam sequências com inconsistências persistentes. Eles relatam a remoção de aproximadamente 30–40% dos dados candidatos e reservam casos ambíguos para verificações manuais.
O artigo apresenta pesquisa de reconstrução e anotação, não um sistema validado de controle direto de robôs. O uso robótico exigiria redirecionamento de movimento, restrições físicas e verificação específica para a tarefa.
O InfiniHand combina geometria da cena, aparência detalhada das mãos e estimativa de câmera para recuperar o movimento das mãos a partir de vídeo em primeira pessoa. Seu design de streaming e seu pipeline de limpeza de dados têm como alvo o desafio prático de anotar grandes coleções de vídeo.
As melhorias reportadas de precisão e taxa de processamento são resultados de pesquisa promissores, com condições importantes relacionadas à recuperação de escala e ao refinamento em segundo plano. A saída é uma estimativa de reconstrução útil que ainda precisa de validação para tarefas físicas posteriores.
Comece com uma frase e tenha um site completo em minutos.
