免费下载

节点+模型打包文件:

夸克:https://pan.quark.cn/s/af91f2bd19b6

迅雷:https://pan.xunlei.com/s/VNxc6zZYNcf1OMd7NoR-EvQKA1?pwd=7tm5#

来源github作者:cubiq

项目简介

ComfyUI_InstantID是一个专注于人物图像生成的项目,它提供了在ComfyUI环境下对InstantID技术的非官方实现。该项目的主要目标是让你能够无需部署复杂的后端,轻松体验InstantID带来的图像生成效果。它仅依赖单张图像,即可生成新的相识图像,同时保持原图像中的人物信息。这种技术不仅支持基础的人物图像生成,还能够适应各种后续任务,如人脸识别和人脸属性分析。

ComfyUI_InstantID项目集成了InstantID技术,并提供了在ComfyUI环境中实现该功能的工具和组件。你可以轻松下载和加载不同的模型,这些模型经过训练和优化,能够生成各种风格和效果的人物图像。同时,项目还支持使用不同的文本提示词和样式器,你可以根据自己的需求调整生成图像的风格和属性。

通过ComfyUI_InstantID,你不仅能够探索不同风格的人物图像,还可以将其应用于各种场景,如艺术创作、虚拟现实、游戏开发等。无论是专业的开发者还是普通用户,都可以借助该项目快速实现个性化的人物图像生成。

总的来说,ComfyUI_InstantID是一个功能强大且易于使用的项目,它为你提供了一个高效、灵活的人物图像生成平台。无论是对于追求创新的开发者,还是对于想要探索图像生成技术的你,该项目都提供了一个理想的起点。

演示

程式化合成:

与以往作品的比较:

与现有的免调谐最先进的技术进行比较。InstantID 实现了更好的保真度并保留了良好的文本可编辑性(面孔和样式更好地融合)。

与预训练字符 LoRA 的比较。我们不需要多个图像,并且仍然可以在没有任何培训的情况下获得具有竞争力的 LoRA 结果。

ComfyUI中使用

对 ComfyUI 原生 InstantID 支持,这个扩展与许多已经可用的扩展不同,因为它不使用扩散器,而是原生实现 InstantID,并与 ComfyUI 完全集成。

你可以在目录中 examples ,您将找到一些基本工作流。

安装

需要Installation 能正常运行,不会安装的可以去这里查看,将ComfyUI升级到最新版本!

将此存储库克隆 git clone 或下载解压到 ComfyUI/custom_nodes/ 目录中再或者使用 Manager。

InstantID 需要 insightface ,您需要将其与 onnxruntime 和 onnxruntime-gpu 一起添加到您的库中。

InsightFace 模型是 antelopev2(不是经典buffalo_l)。下载模型,解压缩并将它们放在目录中 ComfyUI/models/insightface/models/antelopev2 。

模型可以从HuggingFace下载并放入该ComfyUI/models/instantid目录中。 (请注意,该模型称为ip_adapter,因为它基于IPAdapter)。

您还需要一个controlnet,将其放在 ComfyUI controlnet 目录中。注意目前这仅适用于 SDXL。

训练数据有很多水印,为了避免,请使用与 1024×1024(或标准分辨率)略有不同的分辨率,例如1016×1016效果很好。

(所有包含模型均在文章顶部下载或者右侧的高速下载)

使用技巧

  • 为了获得更高的相似度,请增加controlnet_conditioning_scale(IdentityNet)和ip_adapter_scale(Adapter)的权重。
  • 对于过饱和,请减小 ip_adapter_scale。如果不起作用,请减少 controlnet_conditioning_scale。
  • 为了获得更高的文本控制能力,请减小 ip_adapter_scale。
  • 针对具体款式,选择相应的底座型号会有差异。

使用

选择 SDXL 模型。您还可以尝试 SDXL Turbo 的 4 个步骤,对于快速测试非常有效。

首次加载通常需要60秒以上,但节点会尽力缓存模型。

降低CFG

将 CFG 降低到至少 4/5 很重要,或者可以使用RescaleCFG节点。

人脸关键点

根据参考图像生成的关键点对人物进行摆姿势。您可以通过将图像发送到 image_kps 输入来使用不同的姿势。

噪声注入

默认的 InstantID 实现似乎真的烧毁了图像,我发现通过向负嵌入注入噪声,我们可以减轻影响并增加引用的可能性。默认的 Apply InstantID 节点会自动注入 35% 的噪声,如果要微调效果,可以使用 Advanced InstantID 节点。这个处于实验阶段,将来可能会发生变化。

其他控制网

你可以添加更多控制网。提供了深度控制网的示例工作流程。

使用 IPAdapter 进行造型设计

可以使用 IPAdapter 设置构图样式

 多 ID

支持多 ID,但工作流程有点复杂,生成速度较慢。我会检查我是否能找到更好的方法。“hackish”工作流在示例目录中提供。

高级节点

有一个 InstantID 高级节点可用,目前与标准节点的唯一区别是您可以分别设置 instantID 模型和控制网的权重。它现在还包括一个噪声注入选项。它可能有助于微调。

instantID 模型影响的组成约为 25%,其余为控制网。

噪音有助于减少“燃烧”效应。

其他说明

它与 SDXL Turbo/Lighting 配合得很好。使用社区检查点的最佳结果。

WebUI中使用

Instant ID使用ControlNet和IP-Adapter的组合来控制扩散过程中的面部特征。 Instant ID 的一项独特设计是,它将来自 IP 适配器投影的面部嵌入作为交叉输入传递到 ControlNetunet。通常,ControlNetunet 的 crossattn 输入是提示的文本嵌入。

下载模型

您需要下载以下模型并将它们放在{A1111_root}/models/ControlNet目录下。

还需要将模型重命名为ip-adapter_instant_id_sdxl和 ,control_instant_id_sdxl以便扩展能够正确识别它们。(文章顶部或者右侧下载)

使用

InstantID 在 UI 上有 2 个模型。您应始终将 ipadapter 模型设置为第一个模型,因为 ControlNet 模型从 ipadapter 模型获取输出。 (要先hook ipadapter型号)

控制单位 0设置:

控制单元 1 设置:

ControlNet 单元接受 5 个面部关键点的关键点图。你不限制使用你在第0单元中使用的同一个人的面部关键点。这里我使用不同人的面部关键点。

CFG

建议设置 CFG 4~5 以获得最佳效果。根据采样方法和基本模型,该数字可能会有所不同,但通常您需要使用比正常 CFG 稍小的 CFG 比例。

输出:

更多详情1更多详情2更多详情3

推荐资源

ComfyUI官方原生包

WebUI秋叶整合包

WebUI官方整合包

(失效请加V:xkd2310备注SD)

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。