Controlnet

13 次浏览 5 天前 AI图片工具

AI绘图图像生成精准控制 StableDiffusion

ControlNet是Stable Diffusion中用于精准控制图像生成的神级插件，通过骨骼图、边缘检测或深度图等条件图，实现对人物姿态、场景构图和细节的100%可控。

Controlnet是什么

ControlNet是一种神经网络结构，它在不破坏Stable Diffusion原有模型权重的前提下，为其添加空间条件控制能力。简单来说，它就像给AI绘画装上了“方向盘”和“导航仪”。传统的文生图模型往往随机性较强，难以精确还原特定的构图或人物姿态；而ControlNet允许你上传一张参考图（如线稿、深度图、人体骨骼图），模型会根据这张参考图的结构信息来生成图像。你可以在保持高度一致性的前提下，通过修改提示词（Prompt）来改变画面的风格、材质或光照，彻底解决了“抽卡”式生成的痛点。

ControlNet的核心优势在于其拓展性和精准度，主要包括以下几个方面：

核心控制模式（预处理与模型）

ControlNet通过不同的预处理器提取参考图的特征，再由对应的模型进行引导生成。最常用的模式包括：

OpenPose（骨骼姿势）： 专门用于捕捉人体姿态，可以精确复现参考图中人物的动作、表情和手势，是角色设计和动作模仿的必备工具。
Canny / Scribble（边缘/草图）： 提取图像的边缘轮廓线，或者直接将你的手绘草图转化为精致图像，严格执行“线稿上色”的指令。
Depth（深度图）： 分析画面的前后景深关系，用于保按键构图和三维空间感，非常适合将一张普通照片重绘为大片视角。
MLSD（直线检测）： 专门用于识别室内设计中的直线和几何结构，是生成室内装修、建筑设计图的利器。

使用逻辑与工作流

在使用ControlNet时，通常遵循“上传参考图 -> 选择处理器 -> 计算控制图 -> 开启生成”的流程：

输入图像： 在ControlNet面板上传一张参考照片或草图。
启用预处理： 点击爆炸头图标（预处理结果），选择对应的模型（例如使用OpenPose模型提取骨骼图）。
调整权重与引导时机：
- Control Weight（控制权重）： 决定参考图对最终画面的影响程度。数值越高，原图结构越硬；数值过低则可能失去控制。
- Starting/Ending Control Step（引导起止步数）： 决定在生成过程的哪个阶段介入ControlNet。通常在初期介入能决定大结构，后期介入则允许AI自由发挥细节。
提示词配合： 此时正向提示词只需描述你想要生成的内容（如“赛博朋克风格，霓虹灯，高质量”），不需要描述参考图里已有的结构。

局部重绘与多模型叠加

ControlNet不仅仅是全图生成，它在细节修复和多条件控制上表现同样出色：

局部重绘（Inpaint）： 配合蒙版使用，仅修正画面的特定区域。例如，只改变人物的手部姿势或衣服样式，而不影响背景和其他部位。
多ControlNet叠加： WebUI通常支持同时开启3个ControlNet单元。这意味着你可以同时控制姿态（OpenPose）+ 线稿（Canny）+ 景深（Depth），实现极高精度的图像合成与修改，例如“根据姿势图生成人物，保持线稿的服装轮廓，同时保留原图的背景建筑结构”。