小米开源可控视频音效生成模型 ControlFoley，让声音“按你想要的来”

从“随缘配音”到“指哪打哪”：ControlFoley如何重塑视频音效

传统视频制作中，音效往往依赖庞大素材库的拼贴或后期人工拟音，不仅耗时费力，且难以精确匹配画面内容。小米开源的ControlFoley模型打破了这一局限，它并非简单的声音生成，而是引入了“可控”这一核心能力。创作者可以输入文字描述（如“清脆的玻璃碎裂声”）、提供一段参考音频（如某段鼓点节奏），甚至直接上传无声视频，模型便能智能分析画面中的动作、材质、情绪，生成与之同步且风格一致的高质量音效。这意味着，未来视频创作者或许只需一句话或一段演示音频，就能让画面的脚步声、风铃声、机械运转声“按需定制”，真正实现音画合一。

三大主力功能：文生音效、音频克隆与视频自动配音

ControlFoley以模块化方式提供多样化的创作路径，目前已在ComfyUI等平台上线，包含三个核心版本：

• ControlFoley 文生音效V1：纯文本驱动的音效生成。用户输入如“雨滴打在铁皮屋顶上的沉闷声”或“轻快的卡通跳跃音”，模型直接输出对应的16位WAV音频。这适用于快速生成概念音效或填补创意初期的声音空白。
• ControlFoley 音效参考音频生成V1：基于参考音频的风格迁移。用户提供一段音频样本（如某部电影中的爆炸声），再配合文本描述（“更低沉、带金属回响”），模型将参考音效的特征融入生成结果，实现音色、节奏或情绪的精准“复刻”与变体。这极大降低了专业音效设计门槛。
• ControlFoley视频音效生成V1：端到端的视频自动配音。上传一段无声视频（如人物跑步、物体掉落、风吹树叶），模型自动解析画面中的运动轨迹、碰撞力度和场景氛围，生成时序匹配、物理合理的音效。它甚至能与同类模型（如Woosh+Qwen3 VL、MMaudio+Qwen3 VL）联动，先由视觉语言模型理解画面内容，再交由ControlFoley生成音效，实现更智能的“看画面、配声音”流程。

核心技术突破：让声音“听话”的底层逻辑

ControlFoley的可控性源于其创新的模型架构与训练策略。它并非简单将文本或视频映射到音频，而是引入了显式的条件控制机制：在生成过程中，模型会同时处理文本语义、音频频谱特征（如音高、响度、频率分布）以及视频帧中的时序运动信息。通过大规模多模态数据的联合训练，模型学会了如何将抽象的文字描述分解为具体的声学参数（如“空灵”对应特定混响，“急促”对应快节奏宽带噪声），并能在空间-时间维度上精确对齐视频动作（如物体落地的瞬间同步发出撞击声）。此外，开源社区还能基于其预训练权重进行微调，适配特定风格（如古风、科幻、卡通）或特定场景（如游戏音效、虚拟现实环境），进一步拓展应用边界。

开源生态与上手体验：人人可用的AI音效工具箱

ControlFoley目前已通过ComfyUI平台向全球开发者免费开放，用户无需高端硬件，即可在云端（如RunningHub提供免费RTX4090算力）或本地部署体验。其使用方式极为便捷：

1. 一键启动工作流：在ComfyUI中加载ControlFoley项目节点，选择对应版本（文生音效/参考音频/视频音效）。
2. 上传输入：根据版本输入文本、上传参考音频或无声音频。
3. 调整参数：可微调控件如“音效强度”、“风格权重”、“音频时长”等。
4. 生成并导出：模型在数秒至数分钟内完成推理，输出标准WAV音频文件，可直接嵌入视频编辑软件。

此外，小米同步提供了MiMo-V2.5-TTS语音合成API，与ControlFoley形成互补——前者专注于人声语音，后者深耕环境音效，共同构建完整的AI音频创作生态。对于普通用户，未来或许只需在“众影AI”这类应用中一键选择“智能音效”，就能让生成的动画视频自动获得匹配的脚步声、风声和动作音效。

从实验室到行业：ControlFoley如何改变内容创作

开源ControlFoley的意义在于降低专业音效的门槛，让小型工作室、独立创作者甚至个人博主也能获得媲美影视级别的音效制作能力。在短剧、广告、游戏、教育视频等领域，创作者可以更灵活地试验声音方案：比如为同一段奔跑画面生成“草地”、“雪地”、“瓷砖”等不同材质音效，对比效果后快速定版。同时，模型的可控性也为“交互式音效”提供了可能——未来在游戏或虚拟现实中，音效可根据玩家实时操作即时生成，而非循环播放预制片段。小米此举不仅推动了AI音频技术的民主化，也为多模态生成模型在音视频融合领域的落地树立了标杆。