For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ru/articles/infinihand-streaming-3d-hand-motion-from-53c55163.md.
Камера, закреплённая на голове, фиксирует, как люди манипулируют объектами, но преобразовать такую запись в полезные 3D-движения сложно. Рук...
Камера, закреплённая на голове, фиксирует, как люди манипулируют объектами, но преобразовать такую запись в полезные 3D-движения сложно. Руки движутся, камера перемещается, пальцы скрываются за объектами, а две руки могут перекрывать друг друга.
InfiniHand объединяет локализацию рук, детальную реконструкцию рук и оценку движения камеры в потоковой системе. Его цель — размещать последовательные позы рук в общей мировой системе координат, делая движение более полезным для крупномасштабной разметки и потенциальных рабочих процессов обучения воплощённых систем.
Работа подготовлена исследователями, связанными с Shanghai Artificial Intelligence Laboratory, Shanghai Jiao Tong University и несколькими другими университетами. На странице проекта представлены синхронизированные визуальные сравнения и просмотрщик 3D-движений.
Обрезанное изображение руки полезно для определения артикуляции пальцев, но содержит ограниченную информацию о положении руки в окружающей сцене. Аналогично, движение по изображению может быть вызвано движением руки, поворотом головы или обоими факторами одновременно.
Традиционные конвейеры часто объединяют детектор рук, оценщик позы, систему отслеживания камеры и этап выравнивания. Ошибки на одном этапе могут распространяться дальше: пропущенная рука меняет реконструкцию, а неточная траектория камеры изменяет видимое глобальное движение.
InfiniHand использует общий геометрический контекст для этих задач. Предобученный базовый модуль LingBot-Map извлекает признаки полного кадра, которые поддерживают локализацию левой и правой руки. Компонент реконструкции рук объединяет эти признаки с визуальной информацией, центрированной на руках, чтобы восстанавливать более точную артикуляцию.
Для представления рук используются параметры MANO для позы, формы и ориентации. Вспомогательное обучение по двумерным ориентирам помогает ограничивать то, как предсказанные 3D-руки проецируются обратно в изображение. Затем оценки камеры позволяют представлять реконструированные руки в одной мировой системе координат во времени.
Схема метода InfiniHand, воспроизведённая по материалу QbitAI/BAAI.
Исследователи собрали примерно 5 000 часов общедоступного эгоцентричного видео из девяти наборов данных, включая ARCTIC, HOT3D и EgoDex. Объединение этих источников требует большего, чем простое соединение файлов: порядок рук, соглашения о системах координат и типы аннотаций могут различаться.
Конвейер предварительной обработки стандартизирует доступные изображения, параметры рук, суставы, маски и ограничивающие рамки. Там, где это возможно, он восстанавливает отсутствующие параметры MANO на основе 3D-суставов. Последовательности с траекториями камеры также могут предоставлять обучение в мировом пространстве.
Качество аннотаций — отдельная проблема. Команда использует Sapiens 2 для предсказания двумерных ориентиров рук и сравнивает их с исходными аннотациями, спроецированными на изображение. Постоянное расхождение может указывать на неверные соответствия, плохие проекции или неправдоподобные позы.
Согласно статье, этот процесс удаляет примерно 30–40 % кандидатных обучающих данных, а неопределённые случаи оставляются для ручной проверки. На схеме показан процесс очистки кандидатных данных; её не следует использовать для вывода о точном числе оставшихся часов, поскольку авторы не приводят здесь такую величину.
Затем обучение проходит в два этапа:
Такое устройство позволяет наборам данных с различным покрытием аннотациями вносить вклад в те части модели, которые они способны контролировать.
InfiniHand обрабатывает поступающее видео окнами, сохраняя геометрическую память. Его контекст включает начальную эталонную информацию, недавние детализированные признаки и сжатую информацию из более ранних наблюдений.
Реализация перекрывает две задачи предсказания: один рабочий процесс пропускает предстоящее окно через базовый модуль, а другой декодирует предсказания рук и камеры для предыдущего окна. Повторное использование признаков и сокращение времени простоя поддерживают более высокую пропускную способность.
В статье сообщается о пропускной способности предсказания 11,19 FPS по сравнению с 5,48 FPS у HaWoR, то есть об улучшении в 2,04 раза в условиях заявленного сравнения. Это не является утверждением об универсальной работе в реальном времени на уровне 30 FPS и не гарантирует такую скорость на произвольном оборудовании.
Для более длинных последовательностей отдельный рабочий процесс выполняет разреженную bundle adjustment для уточнения траектории камеры. Бинарный пул ключевых кадров сохраняет недавние наблюдения вместе с выбранными более ранними кадрами. Эта фоновая оптимизация требует дополнительных вычислительных ресурсов сверх заявленной пропускной способности предсказания.
Оценка в пространстве камеры охватывает 34 сцены ARCTIC, 10 сцен HOT3D, 166 сцен HOI4D и 100 сцен EgoDex. Исследователи сравнивают метод с несколькими существующими подходами к реконструкции.
Опишите идею одной фразой, и We0 AI создаст сайт-витрину, страницы и CMS, а после запуска поможет привлечь клиентов и трафик.
Одна полная генерация проекта для бесплатной регистрации
Лучше всего попробовать один полный поток генерации и быстро увидеть первый черновик проекта.
В отчёте выделяется PA-p — метрика, учитывающая ошибку позы и штраф за пропущенные обнаружения. В приведённом сравнении меньшие значения лучше:
| Набор данных и метрика | Метод сравнения | InfiniHand | Заявленное снижение |
|---|---|---|---|
| ARCTIC PA-p | ViDiHand: 9,82 мм | 7,72 мм | 21,4 % |
| EgoDex PA-p | ViDiHand: 17,22 мм | 7,29 мм | 57,7 % |
| EgoDex W-MPJPE в мировом пространстве | Dyn-HaMR: 78,41 мм | 28,77 мм | 63,3 % |
Эти строки относятся к разным наборам данных и метрикам; их не следует усреднять в единое утверждение о точности. InfiniHand также сообщает о наименьшем W-MPJPE среди сопоставленных методов на ARCTIC, HOT3D и EgoDex.
Выровненное качественное сравнение: синий цвет обозначает InfiniHand, зелёный — эталон. Выравнивание является частью визуализации и должно учитываться при интерпретации видимого совпадения.
Источник также рассматривает примеры Ego4D из естественных сцен с перекрытиями и взаимодействием с объектами. В одном показанном офлайн-сравнении для InfiniHand используется внешняя локализация рук. Читателям следует отличать эту конфигурацию от заявлений об объединённой локализации в модели; интерактивные демонстрации проекта предоставляют соответствующий визуальный контекст.
Восстановление 3D-демонстраций человека может помочь в подготовке данных для ловких манипуляций, переноса движений и исследований имитационного обучения. Превращение реконструированных движений рук в данные для обучения роботов по-прежнему требует проверок качества и адаптации к физической структуре робота.
Авторы указывают на несколько ограничений. LingBot-Map не восстанавливает метрический масштаб сам по себе, поэтому необходима вспомогательная модель выравнивания, которая может вносить ошибки. Быстрые изменения точки обзора, сильные перекрытия и прерывистая видимость рук остаются сложными случаями из-за ограниченного количества подходящих обучающих данных.
Монокулярное обучение также может переносить изменяющийся во времени дрейф масштаба в обучение. Разреженное уточнение помогает, но не превращает каждую восстановленную траекторию в точное физическое измерение.
Он оценивает положения рук, параметры рук MANO и траектории камеры по эгоцентричному видео. Эти оценки поддерживают представление движений рук в общей мировой системе координат.
Движение руки в пространстве камеры меняется вместе с движением камеры. Общая мировая система координат упрощает сравнение траекторий рук между кадрами с учётом перемещения точки обзора.
Предлагаемая система включает собственный компонент локализации. Однако источник описывает офлайн-качественный пример, использующий внешнюю локализацию рук, поэтому следует проверять конфигурацию каждого показанного сравнения.
Нет. Это пропускная способность предсказания в условиях оценки, заявленных авторами. Фоновая разреженная bundle adjustment создаёт дополнительную нагрузку, а производительность зависит от конфигурации выполнения.
Исследователи сравнивают спроецированные аннотации с двумерными ориентирами рук, предсказанными по изображению, и отклоняют последовательности с постоянными несоответствиями. Они сообщают об удалении примерно 30–40 % кандидатных данных и передаче неоднозначных случаев на ручную проверку.
В статье представлено исследование реконструкции и аннотации, а не проверенная система прямого управления роботом. Применение в робототехнике потребовало бы ретаргетинга, учёта физических ограничений и проверки для конкретной задачи.
InfiniHand объединяет геометрию сцены, детализированные визуальные признаки рук и оценку камеры для восстановления движения рук по видео от первого лица. Его потоковая архитектура и конвейер очистки данных нацелены на практическую задачу разметки крупных видеоколлекций.
Заявленные улучшения точности и пропускной способности выглядят многообещающими результатами исследования, но имеют важные условия, связанные с восстановлением масштаба и фоновым уточнением. Результат представляет собой полезную оценку реконструкции, которая всё ещё требует валидации для последующих физических задач.
Начните с одной фразы и получите полноценный сайт за считанные минуты.
