11月9日,机器人学习大会CoRL 2026在奥斯汀开幕。诺亦腾机器人(Noitom Robotics)在会上宣布,其高精度手部动作捕捉数据集HiPHI-Hand已在Hugging Face公开发布。
这份数据集已被用于训练英伟达的3D手部重建模型EgoHand——一个基于NVIDIA Isaac Capture框架构建、仅需单目第一人称视频即可还原手部三维姿态与形状的模型。
诺亦腾对这份数据的定位很明确:它不是一份泛泛的“手部视频合集”,而是一套带有亚毫米级光学真值的、可用于训练和评估的“可学习数据”。
11小时背后:手指上的微型标记,与第一人称的“真值缺口”
HiPHI-Hand的公开部分包含11小时同步采集的双目鱼眼第一人称视频、以头戴设备IMU为参照的相机外参,以及通过光学动捕系统获得的三维手部位姿。Hugging Face页面显示,这些数据被切分为五个子集,总计794段1360×1360像素、30fps的立体视频,标注同时提供21个MediaPipe关节和25个Vicon关节两种骨架格式,文件总量约69.5GB。
采集方式决定了这份数据的精度。团队在数采员手指上布置了微型标记点,用光学动捕系统记录手与物体的交互过程,并与SOL头戴设备拍摄的第一人称视频严格同步。诺亦腾的表述是,即便手部在画面中被遮挡,光学追踪系统仍能提供亚毫米级的三维真值。第一人称视频的固有难题在于,手在操作物体时经常被自身或物体遮挡,而遮挡区域的姿态恰恰是重建模型最需要学习、也最难从像素中直接推断的部分。HiPHI-Hand用外部光学系统补上了这块“盲区”,为EgoHand提供了一个在遮挡条件下依然可靠的参照。
EgoHand的位置:1400万张图像中的一份“真值切片”
需要先厘清HiPHI-Hand与EgoHand之间的关系。EgoHand的训练集由约1400万张图像构成,来源包括合成数据、真实场景视频和多摄像头动捕真值数据。诺亦腾的这份数据被英伟达处理为SOMA-Hand表征后,作为真实世界来源之一进入训练管线,而非EgoHand的全部训练集。英伟达方面称,EgoHand在公开的第一人称基准上达到了当前SOTA的零样本精度,单帧推理延迟约9毫秒,并以OpenMDW许可发布,允许免费商用。
这些精度和速度指标是英伟达的声明,由诺亦腾转述。目前没有独立的基准测试去分离HiPHI-Hand对最终性能的具体贡献——它在1400万张图像中占多大权重、在哪些场景下起了关键作用,公开信息尚未给出可量化的归因。但这不影响一个更基础的判断:一份带有亚毫米级光学真值、覆盖遮挡场景的手部动捕数据,对于训练“从单目视频重建三维手部”的模型而言,提供的是像素信号与物理真值之间那道最难弥合的映射。
许可的边界:研究免费,商用另议
HiPHI-Hand采用ModalityNet开放研究许可v1.0发布,可免费用于科学研究、教育和评估,商业用途需与诺亦腾单独协商,Hugging Face页面要求用户申请访问。这与EgoHand模型的OpenMDW许可(允许免费商用)形成了区分:模型可以商用,但训练模型所用的这份真值数据,其商业使用权保留在诺亦腾手中。对于希望基于EgoHand构建下游应用的团队,这一区分不影响模型的使用;但对于想直接用HiPHI-Hand训练自有手部模型的商业实体,许可边界是清晰的。
从HiPHI到HiPHI-Hand:一条“可学习性”的路线
HiPHI-Hand不是诺亦腾第一次开源数据。2026年8月,公司已在Hugging Face发布了HiPHI数据集,记录全身动作与人-物交互,公开规模为617.5小时(含镜像增强),其中全身运动371.8小时,人-物交互245.7小时。HiPHI-Hand是在同一数据家族中,把手部精度单独提取并放大的一层补充。
诺亦腾创始人兼CEO戴若犁博士对这条路线有一段概括:“手是人跟物理世界交互的地方,也是第一人称视频里最难测量的东西。我们用亚毫米级精度捕捉这些序列,让EgoHand这样的模型能从中学到东西,然后把它们开放出来,让社区能在同一套真值上继续构建。体量和可学习性必须同步扩展,而精确的数据,正是让海量第一人称视频变得可学的那个东西”。
这段话指向的是一个比“数据更多”更具体的判断。第一人称视频的体量从来不是瓶颈,从YouTube到智能眼镜,每天产生的视角素材以百万小时计。真正的瓶颈在于,这些像素信号缺少与之严格对齐的物理真值,模型很难从中学到“手到底在做什么”的精确映射。HiPHI-Hand的11小时之所以有分量,不在于它比别人的数据集更长,而在于它的每一帧都带着一份可以被核对的三维答案。诺亦腾将自身定位为Physical AI的“数据公司”,其World Compiler与ModalityNet数据基座的逻辑,也正是围绕“让物理世界变得可学”展开——不是收集更多弱标注的视频,而是用高精度、结构化的语料,让更大规模的弱结构数据变得可训练。
在CoRL 2026的展台上,诺亦腾让参观者戴上SOL头显、正常操作物体,然后在屏幕上实时看到自己的手被EgoHand重建为三维形态。这个演示的分量不在“实时”二字,而在于它让一份开源数据集与一个公开模型之间的闭环变得可见:数据被采集、被交付、被训练、被部署,然后回到同一套头显上,让任何人亲眼检验它学到了什么。
(素材来自:Noitom Robotics、NVIDIA 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。

