网易开源两款同传模型,延迟、准确率开源SOTA,快嘴也能实时翻译

9月16日,在网易有道AI Open Day发布会上,网易有道正式发布并开源两款全新同传模型,同时带来办公Agent、AI语音Agent等产品的迭代落地,进一步完善其在AI语音交互领域的布局。

网易开源两款同传模型,延迟、准确率开源SOTA,快嘴也能实时翻译

开源两款同传模型登顶开源SOTA

本次开源的两款模型分别为子曰4-R2T2与子曰4-T3PO,均具备全流式输出能力,可提供极低时延、高流畅度的实时同传体验。其中子曰4-R2T2是一款低延迟、高精度的真流式自动语音识别(ASR)模型,平均延迟仅为200至600毫秒,在各类公开benchmark中,其延迟和识别质量均达到了开源模型的最先进水平(SOTA),表现与主流闭源模型相比也不逊色。该模型采用特殊数据构建技术训练,涵盖稳定前缀数据、强制时间对齐数据和词元级音频分割,训练中还结合了最长稳定前缀(LSP)学习范式,即使在流式输出设计下,离线识别也能保持很高的准确率。
而子曰4-T3PO是拥有140亿参数的文本到文本同步机器翻译(SiMT)模型,有道团队通过高质量分段对齐数据构建、翻译模型流式冷启动以及基于帕累托感知的强化学习完成模型训练。该模型同样采用全流式输出,用户还可根据使用场景调节延迟模式,选择从低延迟到高质量的不同档位,同时支持与外部流式ASR模型联动,实现从语音到文本的实时转换。

现场实测验证超快语速稳定同传能力

发布会现场进行了超快语速的实时翻译演示,两款模型组合运行下,哪怕是语速极快的发言,也能被清晰识别并实时翻译成目标语言,输出速度与发言节奏基本同步,不会出现卡顿、漏译的问题,切实解决了传统同传难以适配“快嘴”发言的痛点。

多款AI语音产品同步落地开源

除同传模型外,网易有道还同步开源了办公Agent应用LobsterAI的2.0版本,新版本在开源项目兼容、团队共享等方面进行了升级,全面兼容OpenClaw2.0版本。此前LobsterAI用户规模已突破100万,活跃用户次日留存超过80%。
现场还发布了网易首个AI原生语音Agent“网易叭哥说”,定位为“从语音转文字走向语音转意图”的产品,采用端到端全双工语音对话技术,可识别对话中的语气与情绪,支持100多种语言的实时语音互译,在计算机、金融、医学等专业领域的翻译准确率可达98%以上,且宣布终身免费。

有道AI同传已落地多场景服务千万级用户

据网易有道CEO周枫现场披露,有道AI同传目前已累计服务用户超过2500万,使用次数同比增长近一倍;旗下口语学习产品Hi Echo升级为Agent口语私教后,用户规模已突破1000万。此外网易有道AI智云开放平台还提供同传相关API服务,支持毫秒级延迟、86语种实时语音翻译与字幕输出,可适配国际技术峰会、跨境展览会、商务会议等多类场景,支持企业自定义术语库、调节翻译规则,还可自动提取会议内容并导出为word、pdf、excel等多格式文件。