Controlnet测评

ControlNet要上天！！😍😍😍😍越来越好用了！！🚀🚀🚀作为Stable Diffusion重要的插件之一，Controlnet已经不能称之为重要功能了，越来越成为主要功能。离开ControlNet很多功能已经无法实现，而且CN的很多功能已经覆盖了SD的原生功能，是不是要上天！💪💪💪

这个节奏下去🔥🔥🔥，做一个CN为核心的流程的webui，也不是不可能了。

作者Mikubill本次带来的重大更新，V1.1.173🆕🆕
【Reference-Only Control】
竟然都不需要model模型了，💥💥💥只需要更新插件到最新版本，在preprocess中选择reference-only即可体验。

本次更新与SD图生图的功能有一定相似性，但是解决了SD原生功能可能会产生崩坏情况。

【Reference-Only】VS【原生图生图】
原生更多参考的是原图风格和颜色，🎨根据重绘幅度来控制生成图片的相似度，重绘幅度过低可完全一致，过高可能相差甚远

【原生图生图】高阶玩法：
想参照原图A，生成图片，原生功能比较麻烦：
把原图A和一张同尺寸的白色图拼接，使用inpaint功能，涂黑白色图，这样可以基于原图A生成类似的图片，但是容易崩坏，而且麻烦。

【Reference-Only 】极大简化了垫图的流程，类似MJ的垫图，又在各种方面更可控，搭配Multi Controlnet简直不要太爽！！！💯💯💯

ControlNet精准控制AI绘画教程 🎨

近年来，AI绘画技术逐渐走进我们的生活，催生出了一系列令人惊艳的艺术作品。然而，要让AI绘画生成完美满意的图像，却并非易事。多次尝试和调整关键词，有时仍难以实现预期效果。这一直是AI绘画领域的难点所在。

然而，在最近，一款名为”ControlNet”的AI绘画插件应运而生，几乎完美解决了上述问题，让AI绘画的痛点成为往事。ControlNet插件具备精准控制画面的能力，使得生成的绘画作品如同指尖舞动的奇迹。

ControlNet的绘画模式非常简单。用户先提供一张参考图，然后插件会根据这张图使用特定的处理模式，生成一张新的预处理图。接着，AI便会根据这两幅图进行绘制，创作出一幅完美的绘画作品。当然，用户也可以选择关闭预处理功能，直接将用户自己处理好的图片作为预处理图，AI绘制的结果将更贴近用户的期望。

让我们以四位美少女的例子来说明ControlNet的神奇之处。原本，这是一张四个闺蜜在沙滩边拍摄的普通合影照。但在ControlNet的加持下，这张照片瞬间发生了惊人的变化，仿佛来到了一个唯美的动漫世界。不仅仅是画风上的变化，连人物的姿势都保持了原汁原味。这四位美女们仿佛一下子实现了自由穿梭于动漫世界之中的梦想。

📷 图片展示：(插入美少女的emoji表情)

正是ControlNet为AI绘画的发展提供了全新的解决方案。它不仅仅是一款普通的插件，更是给用户带来了无限的创作可能性。无论是追求动漫风格，还是其他风格，ControlNet都能够准确捕捉用户需求，并生成对应的绘画作品。

对于热爱艺术的人来说，ControlNet将是一种不可或缺的工具。它不仅仅提供了便捷的操作方式，更通过精准控制AI绘画的过程，让用户能够参与到艺术创作的全过程中。

总结起来，ControlNet是一款能够精准控制AI绘画的插件，它改变了AI绘画的痛点，提供了更多创作可能性，让用户能够轻松实现自己心中的艺术梦想。无论是追求动漫风，还是其他风格，ControlNet都能够满足你的需求，让你的绘画作品变得更加出彩！

如果你对AI绘画感兴趣，不妨一试ControlNet插件，相信它会给你带来惊喜。让我们一起探索AI绘画的无限可能吧！✍️

ControlNet 安装教程

ControlNet 和其他基于注入的 SD 控件的 WebUI 扩展。

此扩展适用于 AUTOMATIC1111 的稳定扩散 Web UI，允许 Web UI 将ControlNet添加到原始稳定扩散模型以生成图像。添加是即时的，不需要合并。

安装

1. 打开“扩展”选项卡。
2. 在选项卡中打开“从 URL 安装”选项卡。
3. 输入https://github.com/Mikubill/sd-webui-controlnet.git“扩展的 git 存储库的 URL”。
4. 按“安装”按钮。
5. 等待 5 秒钟，您将看到消息“已安装到 stable-diffusion-webui\extensions\sd-webui-controlnet。使用已安装选项卡重新启动”。
6. 转到“已安装”选项卡，单击“检查更新”，然后单击“应用并重新启动 UI”。（下次您还可以使用这些按钮来更新 ControlNet。）
7. 完全重新启动 A1111 webui，包括您的终端。（如果您不知道什么是“终端”，可以重新启动计算机以达到相同的效果。）
8. 下载模型（见下文）。
9. 将模型放入正确的文件夹后，您可能需要刷新才能看到模型。刷新按钮位于“模型”下拉列表的右侧。

下载模型

目前ControlNet 1.1的所有14个模型都处于beta测试阶段。

从 ControlNet 1.1 下载模型：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

国内可以在这里高速下载:

「controlnet插件模型全部 」：https://pan.quark.cn/s/f1b98f5e0870

您需要下载以“.pth”结尾的模型文件。

将模型放入“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中。您只需要下载“pth”文件。

请勿右键单击 HuggingFace 网站中的文件名进行下载。一些用户右键单击这些 HuggingFace HTML 网站，并将这些 HTML 页面保存为 PTH/YAML 文件。他们没有下载正确的文件。请点击 HuggingFace 中的小下载箭头“↓”图标进行下载。

下载 SDXL 模型

请参阅此处的说明。

ControlNet 1.1 中的功能

完美支持所有 ControlNet 1.0/1.1 和 T2I 适配器型号。

现在我们完美支持所有可用的模型和预处理器，包括完美支持 T2I 样式适配器和 ControlNet 1.1 Shuffle。（确保您的 YAML 文件名和模型文件名相同，另请参阅“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中的 YAML 文件。）

完美支持 A1111 高分辨率。使固定

现在，如果您在 A1111 中打开 High-Res Fix，每个控制网络将输出两个不同的控制图像：一大一小。小的用于您的基本生成，大的用于您的高分辨率修复生成。这两个控制图像是通过称为“超高质量控制图像重采样”的智能算法计算的。默认情况下此功能处于打开状态，您无需更改任何设置。

完美支持所有 A1111 Img2Img 或 Inpaint 设置和所有遮罩类型

现在，ControlNet 使用 A1111 的不同类型的遮罩进行了广泛的测试，包括“遮罩修复”/“未遮罩修复”、“全图”/“仅遮罩”、“仅遮罩填充”和“遮罩模糊”。调整大小与A1111的“仅调整大小”/“裁剪并调整大小”/“调整大小并填充”完美匹配。这意味着您可以毫无困难地在 A1111 UI 中的几乎所有位置使用 ControlNet！

新的“像素完美”模式

现在，如果您打开像素完美模式，则无需手动设置预处理器（注释器）分辨率。ControlNet 将自动为您计算最佳注释器分辨率，以便每个像素完美匹配稳定扩散。

用户友好的 GUI 和预处理器预览

我们重新组织了一些以前令人困惑的 UI，例如“新画布的画布宽度/高度”，现在它位于 📝 按钮中。现在预览 GUI 由“允许预览”选项和触发按钮 💥 控制。预览图像尺寸比以前更好，并且您不需要上下滚动 – 您的 a1111 GUI 将不再混乱！

支持几乎所有升级脚本

现在ControlNet 1.1可以支持几乎所有的Upscaling/Tile方法。ControlNet 1.1 支持脚本“Ultimate SD upscale”和几乎所有其他基于图块的扩展。请不要将“Ultimate SD upscale”与“SD upscale”混淆 – 它们是不同的脚本。请注意，最推荐的升级方法是“平铺 VAE/扩散”，但我们测试了尽可能多的方法/扩展。请注意，自 1.1.117 起支持“SD upscale”，如果您使用它，则需要将所有 ControlNet 图像保留为空白（我们不推荐“SD upscale”，因为它有些错误并且无法维护 – 使用“终极 SD 高档”而不是）。

更多控制模式（以前​​称为猜测模式）

我们修复了之前1.0的猜测模式中的许多错误，现在它被称为控制模式

现在您可以控制哪个方面更重要（您的提示或您的 ControlNet）：

• “平衡”：CFG 刻度两侧的 ControlNet，与关闭 ControlNet 1.0 中的“猜测模式”相同

• “我的提示更重要”：CFG规模两侧的ControlNet，逐渐减少SD U-Net注入（layer_weight*=0.825**I，其中0<=I <13，13表示ControlNet注入SD 13次）。通过这种方式，您可以确保您的提示完美地显示在生成的图像中。

• “ControlNet 更重要”：ControlNet 仅在 CFG 规模的条件侧（A1111 的 batch-cond-uncond 中的 cond）。这意味着如果您的 cfg-scale 为 X，则 ControlNet 的强度将增强 X 倍。例如，如果您的 cfg-scale 为 7，则 ControlNet 的强度将增强 7 倍。请注意，此处的 X 倍强度与“控制重量”不同，因为您的重量没有修改。这种“更强”的效果通常具有更少的伪影，并为 ControlNet 提供更多空间来猜测提示中缺少的内容（在之前的 1.0 中，称为“猜测模式”）。

   

输入（深度+canny+hed）	“均衡”	“我的提示更重要”	“ControlNet 更重要”

仅供参考的控制

现在我们有了一个reference-only不需要任何控制模型的预处理器。它可以直接以图像为参考来指导扩散。

（提示“草原上奔跑的狗，品质最好，……”）

此方法类似于基于修复的参考，但它不会使您的图像变得混乱。

许多专业的A1111用户都知道通过修复参考来扩散图像的技巧。例如，如果您有一张 512×512 的狗图像，并且想要生成另一张具有同一只狗的 512×512 图像，有些用户会将 512×512 狗图像和 512×512 空白图像连接成 1024×512 图像，发送到 inpaint，然后屏蔽掉空白 512×512 部分来漫射具有相似外观的狗。然而，这种方法通常不太令人满意，因为图像是相连的并且会出现许多失真。

这个reference-onlyControlNet可以直接将你的SD的注意力层链接到任何独立的图像，这样你的SD就可以读取任意图像作为参考。您至少需要 ControlNet 1.1.153 才能使用它。

要使用，只需选择reference-only作为预处理器并放置图像。您的 SD 将仅使用该图像作为参考。

请注意，此方法尽可能“无意见”。它只包含非常基本的连接代码，没有任何个人偏好，用于将注意力层与您的参考图像连接起来。然而，即使我们尽力不包含任何有意见的代码，我们仍然需要编写一些主观实现来处理权重、cfg-scale 等 – 技术报告正在进行中。

更多示例请参见此处。

技术文件

另请参阅 ControlNet 1.1 的文档：

https://github.com/lllyasviel/ControlNet-v1-1-nightly#model-specification