云端模型如何落地物理世界?招商局狮子山人工智能实验室用LiOS打通具身智能全链路

叠衣服为何成为机器人“噩梦”?

对人类而言,叠衣服是无需思考的日常动作,但在机器人柔性操作领域,它同时考察柔性物体感知、双臂协同、接触控制、长程执行和状态恢复能力。布料的摩擦、厚薄、弹性、静电吸附,甚至毛边、线头、标签、拉链、纽扣与夹爪或桌面的轻微挂连,都会改变一次抓取、拉平或翻折的结果。Physical Intelligence在π系列发布中将laundry folding列为需要专门post-training的高灵巧任务;Dyna Robotics也把布料/衣物折叠作为真实商业场景的第一步,强调长时间稳定运行、输出质量和错误处理能力。长期以来,行业多数方案仅能在理想仿真环境或衣物摆放规整的标准化初始状态下完成简单叠衣动作,一旦面对真实家庭场景中衣物褶皱堆叠、随机朝向、局部缠绕等复杂工况,极易出现抓取落空、折叠错位、流程中断等问题,无法实现稳定落地与规模化应用。

LiOS:为机器人装上“云端大脑”

实验室团队发现,机器人技术栈与大模型技术栈交叉带来的系统复杂度是真机部署的关键瓶颈。机器人本身涵盖硬件本体、传感器、末端执行器、运动控制、安全执行和仿真环境;大模型体系同样依赖分布式训练、数据治理、推理优化、模型服务和云端资源管理。缺少系统级的资源纳管与统一开发接口时,真机系统很容易退化为高度定制化的集成,难以复用、扩展和持续迭代。为此,实验室自研LiOS架构,将具身智能从分散的系统集成推进到操作系统级的统一基础设施。LiOS由三部分组成:云侧依托多模态数据湖仓与分布式训练,支撑模型参数向百亿规模扩展,可在Qwen3-VL-30B-A3B、Wan2.2-T2V-A14B等前沿基座上构建VLA、WAM等具身基础模型;端侧接入异构机器人本体、传感器和边缘计算单元,实现传感器同步、运动控制、安全执行、接管恢复及本地状态管理;端云协同负责将真实机器人现场以低延迟、可计算的数据流接入云端,在模型推理、远程接管和数据回流之间形成闭环。

云端模型如何落地物理世界?招商局狮子山人工智能实验室用LiOS打通具身智能全链路

低延迟图传:让云端“看见”真实世界

端云协同是释放云端资源的关键。LiOS不仅完成控制信令与状态同步,还将图传作为关键数据通路:端侧多路视觉、机器人状态、动作过程和接管信号通过WebRTC/GStreamer稳定进入云端。不同于面向人类观看的通用视频流,LiOS图传组件围绕“画面直接进入云端模型”设计,通过GPU编码、GPU解码和GPU侧色彩转换减少CPU-GPU往返搬运,使视觉输入更快进入模型推理链路。同时,实验室团队采用靠近云端推理服务的近网中继方案,适配实验室内网、企业网络和云厂商VPC等复杂环境,在保证网络可达的同时减少公网绕行。在跨机测试中,LiOS图传方案实现了约30ms(网络部分24ms)的“本地相机到云端显存”单向端到端延迟,较Livekit为代表的通用中继方案在TCP隧道条件下(77ms)以及跨区公网Cloud部署下(165ms)加速2.1~6.9倍。这一性能让云端大模型能够几乎实时“看到”机器人现场,支撑在线推理和human-in-the-loop数据闭环。

三台机器人同时叠衣:从仿真到真机的跨越

在LiOS的统一接入与运行支撑下,实验室完成了极具挑战性的真机验证。三类自由度、控制接口、运动范围、末端执行器和执行精度不同的机器人双臂平台,均完成同类叠衣任务,展示了系统对异构硬件的强适配能力。面对短袖、长袖、裤子等多类衣物,上层策略具备面向不同衣物结构的操作适应能力。更关键的是,面对褶皱、翻折、遮挡或局部堆叠等状态,机器人需要先通过大幅度的甩、拖动、拉直,将衣物整理成展平状态,随后执行“翻腕、拉平、对齐、压边”等精细整理动作。在这一过程中,模型负责理解衣物的局部形态并生成操作策略;LiOS则承载策略推理、动作调度和双臂控制链路,使这些细粒度动作能够稳定落到真实机器人执行中。实验室还构建了“训练—部署—采样—增广—回流”的数据迭代管线,在轨迹采样过程中引入扰动与增广,围绕抓取点偏移、展开不足、边缘未对齐、折叠错位等典型失败模式扩展状态分布,并通过Real2Sim遥操补充仿真中难以覆盖的状态,持续提升模型在真实场景中的表现。

开放生态:LiOS低延迟图传模块和LeFold数据集开源

为推动柔性机器人操作领域技术迭代与生态共建,招商局狮子山人工智能实验室正式开源LiOS的低延时图传模块和LeFold数据集。低延时图传模块(代码仓库:https://github.com/cmriat/LiOS)可使其他研究团队快速搭建自己的端云协同链路;LeFold数据集(https://huggingface.co/collections/cmriat/lefold)包含不同衣物、不同初始状态、不同操作阶段下的真机执行过程,覆盖长程柔性操作、双臂协同和失败恢复过程的完整轨迹。在具身智能领域,高质量真机数据是策略泛化与真实部署的重要瓶颈,实验室希望通过开源赋能更多研究者,加速具身智能技术从实验室走向真实家庭场景与规模化应用