For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/de/articles/infinihand-streaming-3d-hand-motion-from-53c55163.md.
Eine am Kopf getragene Kamera erfasst, wie Menschen Objekte manipulieren. Diese Aufnahmen in nutzbare 3D-Bewegungsdaten zu überführen, ist j...
Eine am Kopf getragene Kamera erfasst, wie Menschen Objekte manipulieren. Diese Aufnahmen in nutzbare 3D-Bewegungsdaten zu überführen, ist jedoch schwierig: Hände bewegen sich, die Kamera bewegt sich, Finger verschwinden hinter Objekten, und zwei Hände können einander verdecken.
InfiniHand kombiniert Handlokalisierung, detaillierte Handrekonstruktion und Schätzung der Kamerabewegung in einem Streaming-Framework. Ziel ist es, aufeinanderfolgende Handposen in einem gemeinsamen Weltkoordinatensystem zu platzieren, damit die Bewegung für Annotationen im großen Maßstab und mögliche Workflows für verkörpertes Lernen besser nutzbar wird.
Die Arbeit stammt von Forschenden, die dem Shanghai Artificial Intelligence Laboratory, der Shanghai Jiao Tong University und mehreren weiteren Universitäten angehören. Die Projektseite bietet synchronisierte visuelle Vergleiche und einen 3D-Bewegungsbetrachter.
Ein zugeschnittenes Handbild ist nützlich, um die Artikulation der Finger zu erkennen, enthält jedoch nur begrenzte Informationen darüber, wo sich die Hand in der umgebenden Szene befindet. Ebenso kann eine Bewegung im Bild sowohl durch eine bewegte Hand als auch durch eine Kopfbewegung – oder durch beides – entstehen.
Herkömmliche Pipelines kombinieren häufig einen Handdetektor, einen Posenschätzer, ein Kameratracking-System und eine Ausrichtungsstufe. Fehler in einer Stufe können sich fortpflanzen: Eine übersehene Hand verändert die Rekonstruktion, und eine ungenaue Kamerabahn verändert die scheinbare globale Bewegung.
InfiniHand teilt den geometrischen Kontext zwischen diesen Aufgaben. Ein vortrainiertes LingBot-Map-Backbone extrahiert Merkmale aus vollständigen Frames, die die Lokalisierung der linken und rechten Hand unterstützen. Die Handrekonstruktionskomponente kombiniert diese Merkmale mit handzentrierten Erscheinungsinformationen, um eine feinere Artikulation wiederherzustellen.
Die Handrepräsentation verwendet MANO-Parameter für Pose, Form und Orientierung. Zusätzliche 2D-Landmark-Supervision hilft dabei, einzuschränken, wie vorhergesagte 3D-Hände zurück in das Bild projiziert werden. Kameraschätzungen ermöglichen anschließend, die rekonstruierten Hände über die Zeit im selben Weltkoordinatensystem auszudrücken.
InfiniHand-Methodenabbildung, reproduziert aus dem QbitAI/BAAI-Bericht.
Die Forschenden sammelten rund 5.000 Stunden öffentliches egozentrisches Videomaterial aus neun Datensätzen, darunter ARCTIC, HOT3D und EgoDex. Die Kombination dieser Quellen erfordert mehr als das Zusammenführen von Dateien: Handreihenfolge, Koordinatenkonventionen und Annotationstypen können sich unterscheiden.
Die Vorverarbeitungspipeline standardisiert verfügbare Bilder, Handparameter, Gelenke, Masken und Bounding Boxes. Wo möglich, werden fehlende MANO-Parameter aus 3D-Gelenken angepasst. Sequenzen mit Kameratrajektorien können zudem Supervision im Weltraum liefern.
Die Qualität der Annotationen ist ein separates Thema. Das Team verwendet Sapiens 2, um 2D-Handlandmarks vorherzusagen, und vergleicht sie mit den ursprünglichen, in das Bild projizierten Annotationen. Anhaltende Abweichungen können auf falsche Zuordnungen, fehlerhafte Projektionen oder unplausible Posen hinweisen.
Laut Paper entfernt dieser Prozess etwa 30–40 % der potenziellen Trainingsdaten, während unsichere Fälle für eine manuelle Prüfung reserviert werden. Die Abbildung beschreibt den Prozess zur Bereinigung der Kandidaten; sie sollte nicht verwendet werden, um eine genaue Gesamtzahl der behaltenen Stunden abzuleiten, die die Autoren hier nicht angeben.
Das Training erfolgt anschließend in zwei Stufen:
Diese Anordnung ermöglicht es Datensätzen mit unterschiedlicher Annotationsabdeckung, zu den Teilen des Modells beizutragen, die sie überwachen können.
InfiniHand verarbeitet eingehendes Video in Fenstern und behält dabei geometrischen Speicher. Der Kontext umfasst anfängliche Referenzinformationen, aktuelle detaillierte Merkmale und komprimierte Informationen aus älteren Beobachtungen.
Die Implementierung überlappt zwei Vorhersageaufgaben: Ein Worker verarbeitet das kommende Fenster mit dem Backbone, während ein anderer Hand- und Kameravorhersagen für das vorhergehende Fenster dekodiert. Die Wiederverwendung von Merkmalen und geringere Leerlaufzeiten unterstützen einen höheren Durchsatz.
Das Paper berichtet einen Vorhersagedurchsatz von 11,19 FPS, verglichen mit 5,48 FPS für HaWoR, was unter dem berichteten Vergleich einer 2,04-fachen Verbesserung entspricht. Dies ist weder eine Behauptung eines universellen Echtzeitbetriebs mit 30 FPS noch eine garantierte Geschwindigkeit auf beliebiger Hardware.
Für längere Sequenzen führt ein separater Worker eine dünn besetzte Bündelanpassung durch, um die Kameratrajektorie zu verfeinern. Ein binärer Keyframe-Pool behält aktuelle Beobachtungen zusammen mit ausgewählten früheren Frames. Diese Hintergrundoptimierung verursacht zusätzliche Rechenkosten über den berichteten Vorhersagedurchsatz hinaus.
Die Evaluierung im Kameraraum umfasst 34 ARCTIC-Szenen, 10 HOT3D-Szenen, 166 HOI4D-Szenen und 100 EgoDex-Szenen. Die Forschenden vergleichen mit mehreren bestehenden Rekonstruktionsmethoden.
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
Der Bericht hebt PA-p hervor, ein Maß, das Positionsfehler und eine Strafe für verpasste Erkennungen einbezieht. Niedrigere Werte sind im berichteten Vergleich besser:
| Datensatz und Metrik | Vergleichsmethode | InfiniHand | Berichtete Reduktion |
|---|---|---|---|
| ARCTIC PA-p | ViDiHand: 9,82 mm | 7,72 mm | 21,4 % |
| EgoDex PA-p | ViDiHand: 17,22 mm | 7,29 mm | 57,7 % |
| EgoDex W-MPJPE im Weltraum | Dyn-HaMR: 78,41 mm | 28,77 mm | 63,3 % |
Diese Zeilen betreffen unterschiedliche Datensätze und Metriken; sie sollten nicht zu einer einzigen Genauigkeitsbehauptung gemittelt werden. InfiniHand berichtet außerdem den niedrigsten W-MPJPE unter den verglichenen Methoden für ARCTIC, HOT3D und EgoDex.
Ausgerichteter qualitativer Vergleich: Blau kennzeichnet InfiniHand und Grün die Referenz. Die Ausrichtung ist Teil der Visualisierung und sollte bei der Interpretation der scheinbaren Übereinstimmung berücksichtigt werden.
Die Quelle behandelt zudem Ego4D-Beispiele aus natürlichen Szenen mit Verdeckungen und Objektinteraktion. Ein dargestellter Offline-Vergleich verwendet eine externe Handlokalisierung für InfiniHand. Lesende sollten dieses Setup von den Lokalisierungsbehauptungen des einheitlichen Modells trennen; die interaktiven Projektdemos liefern den relevanten visuellen Kontext.
Die Rekonstruktion menschlicher 3D-Demonstrationen kann bei der Aufbereitung von Daten für geschickte Manipulation, Bewegungsübertragung und Imitationslern-Forschung helfen. Die Überführung rekonstruierter Hände in Trainingsdaten für Roboter erfordert weiterhin Qualitätsprüfungen und eine Anpassung an die physische Struktur des Roboters.
Die Autoren benennen mehrere Einschränkungen. LingBot-Map kann metrische Skalierung nicht eigenständig wiederherstellen, sodass ein zusätzliches Ausrichtungsmodell erforderlich ist, das Fehler einführen kann. Schnelle Perspektivwechsel, starke Verdeckungen und nur zeitweise sichtbare Hände bleiben schwierig, weil geeignete Trainingsdaten begrenzt sind.
Monokulare Supervision kann zudem zeitlich variierende Skalendrift in das Training übernehmen. Die dünn besetzte Verfeinerung hilft, macht jedoch nicht jede rekonstruierte Trajektorie zu einer exakten physikalischen Messung.
Es schätzt Handpositionen, MANO-Handparameter und Kameratrajektorien aus egozentrischem Video. Diese Schätzungen unterstützen eine Darstellung der Handbewegung in einem gemeinsamen Weltkoordinatensystem.
Die Handbewegung im Kameraraum verändert sich mit der Bewegung der Kamera. Ein gemeinsamer Weltbezug erleichtert den Vergleich von Handtrajektorien über mehrere Frames hinweg und berücksichtigt dabei die bewegte Perspektive.
Das vorgeschlagene Framework enthält eine eigene Lokalisierungskomponente. Die Quelle nennt jedoch ein offline erstelltes qualitatives Beispiel, das externe Handlokalisierung verwendet. Lesende sollten daher das Setup jedes gezeigten Vergleichs prüfen.
Nein. Es handelt sich um den Vorhersagedurchsatz unter den von den Autoren berichteten Evaluierungsbedingungen. Die Hintergrund-Bündelanpassung verursacht zusätzliche Arbeit, und die Leistung hängt von der Ausführungskonfiguration ab.
Die Forschenden vergleichen projizierte Annotationen mit bildbasierten Vorhersagen von 2D-Handlandmarks und verwerfen Sequenzen mit anhaltenden Inkonsistenzen. Sie berichten, etwa 30–40 % der Kandidatendaten entfernt und mehrdeutige Fälle für manuelle Prüfungen reserviert zu haben.
Das Paper präsentiert Rekonstruktions- und Annotationsforschung, kein validiertes System zur direkten Robotersteuerung. Der Robotereinsatz würde Retargeting, physische Einschränkungen und aufgabenspezifische Verifizierung erfordern.
InfiniHand kombiniert Szenengeometrie, detaillierte Handerscheinung und Kameraschätzung, um Handbewegungen aus Ego-Perspektivenvideo zu rekonstruieren. Das Streaming-Design und die Pipeline zur Datenbereinigung richten sich an der praktischen Herausforderung aus, große Videosammlungen zu annotieren.
Die berichteten Verbesserungen bei Genauigkeit und Durchsatz sind vielversprechende Forschungsergebnisse, jedoch mit wichtigen Bedingungen hinsichtlich Skalierungsrekonstruktion und Hintergrundverfeinerung. Die Ausgabe ist eine nützliche Rekonstruktionsschätzung, die für nachgelagerte physische Aufgaben weiterhin validiert werden muss.
Starte mit einem Satz und erhalte in wenigen Minuten eine vollständige Website.
