免费下载
节点+模型打包文件:
夸克:https://pan.quark.cn/s/af91f2bd19b6
迅雷:https://pan.xunlei.com/s/VNxc6zZYNcf1OMd7NoR-EvQKA1?pwd=7tm5#
来源github作者:cubiq
项目简介
ComfyUI_InstantID是一个专注于人物图像生成的项目,它提供了在ComfyUI环境下对InstantID技术的非官方实现。该项目的主要目标是让你能够无需部署复杂的后端,轻松体验InstantID带来的图像生成效果。它仅依赖单张图像,即可生成新的相识图像,同时保持原图像中的人物信息。这种技术不仅支持基础的人物图像生成,还能够适应各种后续任务,如人脸识别和人脸属性分析。
ComfyUI_InstantID项目集成了InstantID技术,并提供了在ComfyUI环境中实现该功能的工具和组件。你可以轻松下载和加载不同的模型,这些模型经过训练和优化,能够生成各种风格和效果的人物图像。同时,项目还支持使用不同的文本提示词和样式器,你可以根据自己的需求调整生成图像的风格和属性。
通过ComfyUI_InstantID,你不仅能够探索不同风格的人物图像,还可以将其应用于各种场景,如艺术创作、虚拟现实、游戏开发等。无论是专业的开发者还是普通用户,都可以借助该项目快速实现个性化的人物图像生成。
总的来说,ComfyUI_InstantID是一个功能强大且易于使用的项目,它为你提供了一个高效、灵活的人物图像生成平台。无论是对于追求创新的开发者,还是对于想要探索图像生成技术的你,该项目都提供了一个理想的起点。
演示
程式化合成:
与以往作品的比较:
与现有的免调谐最先进的技术进行比较。InstantID 实现了更好的保真度并保留了良好的文本可编辑性(面孔和样式更好地融合)。
与预训练字符 LoRA 的比较。我们不需要多个图像,并且仍然可以在没有任何培训的情况下获得具有竞争力的 LoRA 结果。
ComfyUI中使用
对 ComfyUI 原生 InstantID 支持,这个扩展与许多已经可用的扩展不同,因为它不使用扩散器,而是原生实现 InstantID,并与 ComfyUI 完全集成。
你可以在目录中 examples
,您将找到一些基本工作流。
安装
需要Installation 能正常运行,不会安装的可以去这里查看,将ComfyUI升级到最新版本!
将此存储库克隆 git clone
或下载解压到 ComfyUI/custom_nodes/
目录中再或者使用 Manager。
InstantID 需要 insightface
,您需要将其与 onnxruntime
和 onnxruntime-gpu
一起添加到您的库中。
InsightFace 模型是 antelopev2(不是经典buffalo_l)。下载模型,解压缩并将它们放在目录中 ComfyUI/models/insightface/models/antelopev2
。
主模型可以从HuggingFace下载并放入该ComfyUI/models/instantid
目录中。 (请注意,该模型称为ip_adapter,因为它基于IPAdapter)。
您还需要一个controlnet,将其放在 ComfyUI controlnet 目录中。注意目前这仅适用于 SDXL。
训练数据有很多水印,为了避免,请使用与 1024×1024(或标准分辨率)略有不同的分辨率,例如1016×1016效果很好。
(所有包含模型均在文章顶部下载或者右侧的高速下载)
使用技巧
- 为了获得更高的相似度,请增加controlnet_conditioning_scale(IdentityNet)和ip_adapter_scale(Adapter)的权重。
- 对于过饱和,请减小 ip_adapter_scale。如果不起作用,请减少 controlnet_conditioning_scale。
- 为了获得更高的文本控制能力,请减小 ip_adapter_scale。
- 针对具体款式,选择相应的底座型号会有差异。
使用
选择 SDXL 模型。您还可以尝试 SDXL Turbo 的 4 个步骤,对于快速测试非常有效。
首次加载通常需要60秒以上,但节点会尽力缓存模型。
降低CFG
将 CFG 降低到至少 4/5 很重要,或者可以使用RescaleCFG
节点。
人脸关键点
根据参考图像生成的关键点对人物进行摆姿势。您可以通过将图像发送到 image_kps
输入来使用不同的姿势。
噪声注入
默认的 InstantID 实现似乎真的烧毁了图像,我发现通过向负嵌入注入噪声,我们可以减轻影响并增加引用的可能性。默认的 Apply InstantID 节点会自动注入 35% 的噪声,如果要微调效果,可以使用 Advanced InstantID 节点。这个处于实验阶段,将来可能会发生变化。
其他控制网
你可以添加更多控制网。提供了深度控制网的示例工作流程。
使用 IPAdapter 进行造型设计
可以使用 IPAdapter 设置构图样式
多 ID
支持多 ID,但工作流程有点复杂,生成速度较慢。我会检查我是否能找到更好的方法。“hackish”工作流在示例目录中提供。
高级节点
有一个 InstantID 高级节点可用,目前与标准节点的唯一区别是您可以分别设置 instantID 模型和控制网的权重。它现在还包括一个噪声注入选项。它可能有助于微调。
instantID 模型影响的组成约为 25%,其余为控制网。
噪音有助于减少“燃烧”效应。
其他说明
它与 SDXL Turbo/Lighting 配合得很好。使用社区检查点的最佳结果。
WebUI中使用
Instant ID使用ControlNet和IP-Adapter的组合来控制扩散过程中的面部特征。 Instant ID 的一项独特设计是,它将来自 IP 适配器投影的面部嵌入作为交叉输入传递到 ControlNetunet。通常,ControlNetunet 的 crossattn 输入是提示的文本嵌入。
下载模型
您需要下载以下模型并将它们放在{A1111_root}/models/ControlNet
目录下。
还需要将模型重命名为ip-adapter_instant_id_sdxl
和 ,control_instant_id_sdxl
以便扩展能够正确识别它们。(文章顶部或者右侧下载)
使用
InstantID 在 UI 上有 2 个模型。您应始终将 ipadapter 模型设置为第一个模型,因为 ControlNet 模型从 ipadapter 模型获取输出。 (要先hook ipadapter型号)
控制单位 0设置:
控制单元 1 设置:
ControlNet 单元接受 5 个面部关键点的关键点图。你不限制使用你在第0单元中使用的同一个人的面部关键点。这里我使用不同人的面部关键点。
CFG
建议设置 CFG 4~5 以获得最佳效果。根据采样方法和基本模型,该数字可能会有所不同,但通常您需要使用比正常 CFG 稍小的 CFG 比例。
输出:
推荐资源
(失效请加V:xkd2310备注SD)