For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ko/articles/infinihand-streaming-3d-hand-motion-from-53c55163.md.
헤드 마운트 카메라는 사람이 물체를 조작하는 방식을 포착하지만, 해당 영상을 유용한 3D 동작으로 변환하는 일은 어렵습니다. 손과 카메라가 모두 움직이고, 손가락은 물체 뒤로 사라지며, 두 손이 서로를 가릴 수도 있습니다.
헤드 마운트 카메라는 사람이 물체를 조작하는 방식을 포착하지만, 해당 영상을 유용한 3D 동작으로 변환하는 일은 어렵습니다. 손과 카메라가 모두 움직이고, 손가락은 물체 뒤로 사라지며, 두 손이 서로를 가릴 수도 있습니다.
InfiniHand는 손 위치 추정, 세부 손 복원, 카메라 모션 추정을 하나의 스트리밍 프레임워크로 결합합니다. 목표는 연속된 손 포즈를 공유 월드 좌표계에 배치하여, 대규모 어노테이션과 잠재적인 체화 학습 워크플로에 더 유용한 모션을 만드는 것입니다.
이 연구는 Shanghai Artificial Intelligence Laboratory, Shanghai Jiao Tong University 및 여러 대학 소속 연구진이 수행했습니다. 프로젝트 페이지에서는 동기화된 시각적 비교와 3D 모션 뷰어를 제공합니다.
크롭된 손 이미지는 손가락 관절 움직임을 식별하는 데 유용하지만, 주변 장면 안에서 손이 어디에 위치하는지에 대한 정보는 제한적입니다. 마찬가지로 이미지 내 움직임은 손의 이동, 고개 회전 또는 두 요인이 모두 결합된 결과일 수 있습니다.
기존 파이프라인은 손 검출기, 포즈 추정기, 카메라 추적 시스템, 정렬 단계를 조합하는 경우가 많습니다. 한 단계의 오류는 다음 단계로 전파될 수 있습니다. 손을 놓치면 복원이 달라지고, 부정확한 카메라 경로는 겉보기 전역 모션을 바꿉니다.
InfiniHand는 이러한 작업 전반에서 기하학적 맥락을 공유합니다. 사전 학습된 LingBot-Map 백본은 전체 프레임 특징을 추출하며, 이는 왼손과 오른손의 위치 추정을 지원합니다. 손 복원 구성 요소는 이러한 특징과 손 중심 외관 정보를 결합해 더 정밀한 관절 움직임을 복원합니다.
손 표현에는 포즈, 형상, 방향을 위한 MANO 파라미터를 사용합니다. 보조 2D 랜드마크 지도 학습은 예측된 3D 손이 이미지에 다시 투영되는 방식을 제약하는 데 도움을 줍니다. 이후 카메라 추정을 통해 복원된 손을 시간에 걸쳐 동일한 월드 프레임으로 표현할 수 있습니다.
QbitAI/BAAI 보고서에 재현된 InfiniHand 방법 그림.
연구진은 ARCTIC, HOT3D, EgoDex를 포함한 9개 데이터세트에서 약 5,000시간의 공개 자기중심 시점 비디오를 수집했습니다. 이러한 소스를 결합하려면 단순히 파일을 이어 붙이는 것 이상이 필요합니다. 손 순서, 좌표 규약, 어노테이션 유형이 서로 다를 수 있기 때문입니다.
전처리 파이프라인은 제공되는 이미지, 손 파라미터, 관절, 마스크, 경계 상자를 표준화합니다. 가능한 경우 3D 관절로부터 누락된 MANO 파라미터를 피팅합니다. 카메라 궤적을 포함한 시퀀스는 월드 공간 지도 학습도 제공할 수 있습니다.
어노테이션 품질은 별도의 과제입니다. 팀은 Sapiens 2를 사용해 2D 손 랜드마크를 예측하고, 이를 이미지에 투영된 원본 어노테이션과 비교합니다. 지속적인 불일치는 잘못된 연관 관계, 부정확한 투영 또는 비현실적인 포즈를 나타낼 수 있습니다.
논문에 따르면 이 과정은 **후보 학습 데이터의 약 30~40%**를 제거하며, 불확실한 사례는 수동 검토를 위해 남겨 둡니다. 그림은 후보 데이터 정제 과정을 설명합니다. 저자가 여기에서 제공하지 않은 정확한 최종 유지 시간 수를 추론하는 데 사용해서는 안 됩니다.
이후 학습은 두 단계로 진행됩니다.
이 구성은 서로 다른 어노테이션 범위를 가진 데이터세트가 각자 감독할 수 있는 모델 부분에 기여할 수 있도록 합니다.
InfiniHand는 기하학적 메모리를 유지하면서 입력 비디오를 윈도 단위로 처리합니다. 해당 컨텍스트에는 초기 참조 정보, 최근의 세부 특징, 오래된 관측에서 압축된 정보가 포함됩니다.
구현에서는 두 예측 작업을 겹쳐 실행합니다. 한 워커는 다음 윈도에 백본을 적용하고, 다른 워커는 이전 윈도의 손 및 카메라 예측을 디코딩합니다. 특징 재사용과 유휴 시간 감소는 더 높은 처리량을 지원합니다.
논문은 보고된 비교에서 HaWoR의 5.48 FPS와 비교해 11.19 FPS 예측 처리량을 보고하며, 이는 2.04배 향상입니다. 이는 모든 환경에서 30 FPS로 실시간 작동한다는 주장이 아니며, 임의의 하드웨어에서 보장되는 속도도 아닙니다.
더 긴 시퀀스의 경우 별도 워커가 카메라 궤적을 정교화하기 위해 희소 번들 조정을 수행합니다. 이진 키프레임 풀은 최근 관측과 선택된 이전 프레임을 함께 유지합니다. 이 백그라운드 최적화에는 보고된 예측 처리량 외의 추가 계산 비용이 발생합니다.
카메라 공간 평가는 34개의 ARCTIC 장면, 10개의 HOT3D 장면, 166개의 HOI4D 장면, 100개의 EgoDex 장면을 포함합니다. 연구진은 여러 기존 복원 방법과 비교했습니다.
아이디어를 한 문장으로 입력하면 We0 AI가 쇼케이스 사이트, 페이지, CMS를 생성하고 출시 후 고객과 트래픽 확보를 돕습니다.
무료 등록을 위한 하나의 완전한 프로젝트 생성
하나의 완전한 생성 흐름을 시도하고 첫 번째 프로젝트 초안을 빠르게 보는 데 가장 적합합니다.
보고서는 포즈 오차와 누락 검출에 대한 패널티를 함께 반영하는 지표인 PA-p를 강조합니다. 보고된 비교에서 낮을수록 좋습니다.
| 데이터세트 및 지표 | 비교 방법 | InfiniHand | 보고된 감소율 |
|---|---|---|---|
| ARCTIC PA-p | ViDiHand: 9.82 mm | 7.72 mm | 21.4% |
| EgoDex PA-p | ViDiHand: 17.22 mm | 7.29 mm | 57.7% |
| EgoDex 월드 공간 W-MPJPE | Dyn-HaMR: 78.41 mm | 28.77 mm | 63.3% |
이 행들은 서로 다른 데이터세트와 지표에 관한 것이므로, 하나의 정확도 주장으로 평균 내서는 안 됩니다. InfiniHand는 ARCTIC, HOT3D, EgoDex에서 비교된 방법들 중 가장 낮은 W-MPJPE도 보고합니다.
정렬된 정성적 비교: 파란색은 InfiniHand, 녹색은 참조를 나타냅니다. 정렬은 시각화의 일부이므로 겉보기 일치도를 해석할 때 고려해야 합니다.
소스는 가림과 물체 상호작용을 포함하는 자연 장면 Ego4D 사례도 논의합니다. 한 오프라인 비교 그림은 InfiniHand에 외부 손 위치 추정을 사용합니다. 독자는 이 구성을 통합 모델의 위치 추정 주장과 구분해야 합니다. 관련 시각적 맥락은 인터랙티브 프로젝트 데모에서 확인할 수 있습니다.
3D 인간 시연을 복원하면 정교한 조작, 모션 전이, 모방 학습 연구를 위한 데이터를 준비하는 데 도움이 될 수 있습니다. 복원된 손을 로봇 학습 데이터로 전환하려면 로봇의 물리적 구조에 맞춘 품질 검증과 적응이 여전히 필요합니다.
저자들은 몇 가지 한계를 식별합니다. LingBot-Map은 본질적으로 절대 스케일을 복원하지 못하므로 보조 정렬 모델이 필요하며, 이 모델은 오류를 유발할 수 있습니다. 빠른 시점 변화, 심각한 가림, 간헐적인 손 가시성은 적합한 학습 데이터가 제한되어 있어 여전히 어렵습니다.
단안 지도 학습은 시간에 따라 변하는 스케일 드리프트를 학습 과정으로 가져올 수도 있습니다. 희소 정교화가 도움이 되지만, 복원된 모든 궤적을 정확한 물리 측정값으로 만들지는 못합니다.
자기중심 시점 비디오에서 손 위치, MANO 손 파라미터, 카메라 궤적을 추정합니다. 이러한 추정치는 공유 월드 좌표계로 표현되는 손 동작을 지원합니다.
카메라 공간에서의 손 동작은 카메라 이동에 따라 달라집니다. 공유 월드 프레임은 움직이는 시점을 고려하면서 프레임 간 손 궤적을 비교하기 쉽게 만듭니다.
제안된 프레임워크에는 자체 위치 추정 구성 요소가 포함됩니다. 다만 소스에서는 외부 손 위치 추정을 사용하는 오프라인 정성적 예시를 언급하므로, 독자는 각 표시된 비교의 구성을 확인해야 합니다.
아닙니다. 이는 저자가 보고한 평가 환경에서의 예측 처리량입니다. 백그라운드 희소 번들 조정에는 추가 작업이 발생하며, 성능은 실행 구성에 따라 달라집니다.
연구진은 투영된 어노테이션을 이미지 기반 2D 손 랜드마크 예측과 비교하고, 지속적인 불일치가 있는 시퀀스를 제외합니다. 후보 데이터의 약 30~40%를 제거했으며, 모호한 사례는 수동 검토를 위해 보류했다고 보고합니다.
논문은 검증된 직접 로봇 제어 시스템이 아니라 복원 및 어노테이션 연구를 제시합니다. 로봇 활용에는 리타기팅, 물리적 제약, 작업별 검증이 필요합니다.
InfiniHand는 장면 기하, 세부 손 외관, 카메라 추정을 결합하여 1인칭 비디오에서 손 동작을 복원합니다. 스트리밍 설계와 데이터 정제 파이프라인은 대규모 비디오 컬렉션 어노테이션이라는 실질적인 과제를 겨냥합니다.
보고된 정확도 및 처리량 향상은 스케일 복원과 백그라운드 정교화에 관한 중요한 조건을 수반하는 유망한 연구 결과입니다. 출력은 유용한 복원 추정치이지만, 후속 물리 작업에 사용하려면 여전히 검증이 필요합니다.
한 문장에서 시작해 몇 분 안에 완전한 웹사이트를 받아보세요.
