免费下载

夸克：https://pan.quark.cn/s/d0bf777b80fe

迅雷：https://pan.xunlei.com/s/VNxbgQynu6z87vPZEUEICWxzA1?pwd=rn6p#

简介

SD-XL Inpainting 0.1 是一种潜在的文本到图像扩散模型，能够在给定任何文本输入的情况下生成照片般逼真的图像，并具有使用蒙版修复图片的额外功能。

SD-XL Inpainting 0.1 使用stable-diffusion-xl-base-1.0权重进行初始化。该模型在分辨率 1024x1024 下训练了 40k 步骤，并且文本调节下降了 5%，以改进无分类器的无分类器指导采样。对于修复，UNet 有 5 个额外的输入通道（4 个用于编码的掩模图像，1 个用于掩模本身），其权重在恢复非修复检查点后被初始化为零。在训练过程中，我们生成合成掩模，并在 25% 中掩模所有内容。

使用

from diffusers import AutoPipelineForInpainting
from diffusers.utils import load_image
import torch

pipe = AutoPipelineForInpainting.from_pretrained("diffusers/stable-diffusion-xl-1.0-inpainting-0.1", torch_dtype=torch.float16, variant="fp16").to("cuda")

img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"

image = load_image(img_url).resize((1024, 1024))
mask_image = load_image(mask_url).resize((1024, 1024))

prompt = "a tiger sitting on a park bench"
generator = torch.Generator(device="cuda").manual_seed(0)

image = pipe(
prompt=prompt,
image=image,
mask_image=mask_image,
guidance_scale=8.0,
num_inference_steps=20, # steps between 15 and 30 work well for us
strength=0.99, # make sure to use `strength` below 1.0
generator=generator,
).images[0]

运行

说明

用途

该模型仅用于研究目的。可能的研究领域和任务包括

  • 艺术品的生成以及在设计和其他艺术过程中的使用。
  • 在教育或创意工具中的应用。
  • 生成模型的研究。
  • 安全部署可能生成有害内容的模型。
  • 探索和理解生成模型的局限性和偏差。

排除的用途如下所述。

超出范围的使用

该模型并未经过训练以真实或真实地表示人或事件，因此使用该模型生成此类内容超出了该模型的能力范围。

局限性

  • 该模型没有达到完美的真实感
  • 模型无法呈现清晰的文本
  • 该模型难以应对涉及组合性的更困难的任务，例如渲染与“蓝色球体顶部的红色立方体”相对应的图像
  • 一般情况下，面孔和人物可能无法正确生成。
  • 模型的自动编码部分是有损的。
  • 当强度参数设置为1（即从完全屏蔽的图像开始修复）时，图像的质量会下降。该模型保留了图像的非遮罩内容，但图像看起来不太清晰。我们正在对此进行投资并开发下一个版本。

偏见

虽然图像生成模型的能力令人印象深刻，但它们也会强化或加剧社会偏见。

文章来源：https://huggingface.co/（需要魔法）

传送

（如遇失效，请加v：xkd2310备注SD）

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。