Jim Fan、李飞飞团队新作：机器人也能「上下文scaling」

3600美元打造“低配版Optimus”：DexCap让机器人看懂人手操作

一台能完成泡茶、剪纸、收纳胶带等复杂任务的机器人，成本仅需3605.59美元。这正是由Chen Wang、李飞飞和Karen Liu等人提出的“便携式手部动作捕捉系统”——DexCap。该系统基于SLAM、电磁场以及对环境的3D观察，实时追踪手腕和手指运动，克服了传统视觉动捕技术因视线遮挡而无法收集数据的痛点。整套设备包括背包里的迷你PC、RGB-D相机和传感器手套，Jim Fan评价其为“低配版的Optimus”，并强调数据收集与机器人执行分离的设计思路，让普通人也能负担得起。

30分钟数据就能学会一项任务：机器人“上下文学习”的效率跃升

DexCap的核心价值在于数据收集的高效性。以“捡球”任务为例，研究团队仅使用30分钟的人类动作捕捉数据，无需任何远程操作，机器人便能自主完成学习。其背后的模仿算法DEXIL，结合逆运动学和基于点云的模仿学习，将手部动作数据与3D场景重建对齐，生成精确的手部动作模型。在6项具体操作任务评估中，DexCap展现出卓越的完成能力。与最先进的基于视觉的手部姿态估计方法HaMeR相比，DexCap在严重遮挡条件下仍能稳定工作，而HaMeR要么无法检测到手，要么指尖位置估计失准。

从模仿到自主：DEXIL算法如何让机器人“看一遍就会”

DexCap的工作流程分为三步：首先通过RGB-D观测构建3D点云，并转换到机器人的操作空间；同时将手部动作捕捉数据重定位到带有指尖逆运动学（IK）的机械臂；最后基于这些数据学习扩散策略，将点云作为输入，输出未来目标位置作为机器人动作。黄色列代表重定位后的机器人手部动作，与蓝色列在同一3D空间中精确对齐，验证了算法的可行性。此外，团队还探索了用DexCap进行RLHF（基于人类反馈的强化学习），对部分完成度（如“拿起盘子但没放进去”）给予部分分数，进一步优化机器人决策。

李飞飞再出山：发起BEHAVIOR家务挑战赛，推动机器人“上下文scaling”

受ImageNet启发，李飞飞联合Jim Fan、英伟达等团队发起首届BEHAVIOR家务挑战赛，旨在凝聚学术界和产业界力量，推动机器人做家务的规模化。参赛者统一使用星海图R1 Pro（双手操作+轮式移动）作为本体，在逼真的BEHAVIOR-1K虚拟家庭环境中解决50项家务任务，涵盖重新布置、烹饪、清洁等。官方提供1万条专家演示轨迹（约1200小时），方便用模仿学习快速上手。比赛分为标准赛道（仅用视觉信息决策）和特权赛道（可获取物体坐标等详细状态），最终排名主要看平均任务完成率，也有模拟时间、导航距离等次要指标。获奖前三名可获得最高1000美元奖金及RTX 5080显卡。

开源与低成本：让每个人都能拥有自己的机器人“灵巧手”

DexCap的整套系统硬件成本仅3605.59美元，且全部开源，包括论文、代码和设计图纸。Jim Fan强调，这一系统让“个人机器人与个人AI”进入下一阶段。网友评价：“DexCap绝对震撼，我们正在进入个人机器人与个人AI的下一阶段。”结合BEHAVIOR挑战赛提供的海量专家数据，机器人通过“上下文学习”（即人类演示数据）拓展技能集的路径已经清晰。未来，机器人或许能像大模型一样，通过不断积累操作上下文，实现从灵巧手到全家务的通用能力scaling。