苹果HALO机器人以宇树G1为身体,成功率91%

苹果研究团队近日公开了一项名为HALO的人形机器人研究。据彭博社最新爆料,苹果CEO约翰·特努斯已经要求软件主管费德里吉加快AI开发节奏,拿出更大胆的方案,不能只满足于给Siri升级几个功能。比起苹果AI落地的速度,苹果在研究上的进展其实超出很多人的预期,其中就包括具身智能——让AI拥有一副能在现实世界行动的身体。HALO给出的答案相当混搭:直接用宇树G1当身体,后背绑一台Mac mini M4 Pro,里面运行的还是阿里的千问模型。

G1背着Mac mini走进陌生客厅

这套系统最直观的展示,是让机器人自主走进从未见过的家庭环境,找到椅子坐下、钻过桌底、推走箱子。在6个从未见过、没有提前扫描的真实环境里,HALO完成了360次测试,平均成功率达到91%。

  • 机器人仅获取自身视角下的摄像头画面,无需对场景进行预先扫描,也无需预先设定运动轨迹。
  • 六项技能中的每一项,都在6个真实环境和100个模拟房间中进行了10次测试。
  • 论文题为《基于仿真的感知人形运动》,于11月4日发布在arXiv上,八位作者均署名为苹果公司,由胡思远领衔,最后一位作者是弗拉德伦·科尔顿。
  • HALO代表“Humanoid Autonomy, Learned in simulation, running Onboard”,即“在仿真中学习、在机载运行的自主人形系统”。

硬件配置是标准版G1,增加了两个组件:一个安装在定制头戴式支架上的OAK-1W广角摄像头,以及一台搭载M4 Pro芯片和64GB内存的Mac mini,安装在机器人背部的机箱内。Mac mini负责运行编排器和生成器,追踪器则运行在G1内置的NVIDIA Jetson Orin NX平台上。机器人无需连接线缆,所有模型都在机器人上运行。

苹果HALO机器人以宇树G1为身体,成功率91%

HALO把控制拆成两秒、三次和五十赫兹

HALO没有把“听懂指令并行动”压进一个黑箱,而是拆成三种运行速度不同的模式。

  1. 协调器:一个现成的视觉语言模型,默认使用4位精度的Qwen3.6-35B-A3B,大约每两秒运行一次。它把“去椅子上坐下”之类的请求分解成子任务,并决定何时继续执行或重试。
  2. 运动生成器:大约每秒运行三次,基于冻结的Qwen3.5-2B视觉编码器和4900万参数扩散变换器构建,获取相机图像和当前子任务,并规划五秒钟的全身运动。
  3. 运动跟踪器:以50Hz的频率运行,在Isaac Lab中使用强化学习训练的策略,利用深度图像、本体感觉和机器人的IMU跟踪该计划,输出G1的29个关节目标。

这套分层设计让机器人能在陌生房间里把自然语言指令转成全身动作。研究团队还测试了深度输入的作用:去掉深度输入后,坐椅子的成功率从84%降到74%。

不雇人遥操作,苹果用300张GPU生成300小时动作

人形机器人领域长期存在“数据瓶颈”:视觉-语言-动作数据不像互联网文本那样取之不尽,每一条训练样本都要有人专门制造。常见做法是用遥操作系统或穿戴式动捕设备采集,产出一小时数据至少要消耗一小时人力。HALO的方案是不采人数据,全部用仿真合成。

苹果HALO机器人以宇树G1为身体,成功率91%

  • 研究团队用运动扩散模型生成全身动作,用程序化生成器INFINIGEN造出1000个虚拟家庭,客厅、办公室、卧室的家具疏密随机。
  • 在Isaac Sim里把动作放进场景,渲染出机器人头部相机看到的第一视角画面,再交给自动校验器筛掉穿模、滑脚的坏样本。
  • 团队在约1000个程序生成的房间里做出了16.3万条、近300小时的配对样本,数据规模只受算力限制。
  • 仅生成SIT一个技能的5万条样本,就用了250张H100 GPU跑了9个小时;全部1178个房间的生成用了约300张GPU、26个小时。

以坐椅子为例,研究人员先指定走过去、转身、坐下几个阶段,以及最后坐稳的姿势。动作生成模型据此给出多组轨迹,程序检查脚底有没有打滑、身体有没有穿过地面、关节有没有超过活动范围,再把筛过的动作和椅子摆进虚拟房间,避开周围家具。接下来,仿真器从机器人头部摄像头的位置把这一幕拍下来。这意味着,人形机器人原本需要人类手把手教的动作,开始有机会靠算力来学习。

宇树卖出5632台人形机器人,苹果把千问装进后背

这桩“混搭”把具身智能的分工摆到了台面上。宇树最擅长的是本体、供应链、生产和产品定义:2023年至2025年,宇树累计卖出5632台人形机器人、33294台四足机器人;到2025年,人形机器人贡献约51%的收入,综合毛利率达到60.44%。2024年5月,G1把人形机器人起售价压到9.9万元;一年多后,更小的R1把起售价压到3.99万元。王兴兴称G1累计下线大约1到2万台,是全球单一型号出货量最大的人形机器人。

苹果则把“大脑”这件事拆给现成模型和仿真数据。HALO的协调器默认使用千问模型,运动生成器基于Qwen视觉编码器,苹果自己补上的是仿真合成、动作生成、自动校验和分层控制。王兴兴在宇树世界物理AI大会上也承认,宇树毕竟是一家新公司,跟全球最头部的多模态大模型公司做一模一样的模型不太现实,宇树会自研,也会和国内外大模型公司合作。他展示的demo是把GPT-6接到机器人上,零训练就能自己洗笔、换颜料,在围棋盘上精准落子。

资本市场对宇树的本体故事反应剧烈:8月19日,宇树以150.8元发行,开盘冲到1100元,收盘845元,首日市值3418亿元;之后股价来到603.08元,较上市首日1100元高点回撤45.17%。从这次公开的HALO系统看,苹果没有自己造一具新身体,而是把现成G1、Mac mini和千问模型拼成一套可运行的自主系统;宇树则继续用低价和出货量把本体推向市场。两者交叠之处,正是人形机器人从演示走向家庭场景的试验场。