Midjourney V6在图像质感上实现了显著提升,人物和老虎面部的细节都非常丰富。然而,在手部细节方面,AI绘图工具仍然面临挑战,尤其是在人物比例较小的情况下,手部容易出现问题。尽管Midjourney有局部重绘功能,但V6版本尚无法使用,且效果难以精确控制。因此,Stable Diffusion成为了修复细节的最佳选择,它能够更精准地生成所需效果。
脸部在Stable Diffusion中相对容易修复,但手部修复则更具挑战性。文章将以上图中人物的左手为例,详细介绍如何利用Stable Diffusion修复AI生成图像中的瑕疵。
修复的第一步是准备工作。使用3D建模软件DesignDoll创建所需的手部姿势。DesignDoll的免费版本已足够使用。将3D建模的手部图像拼接到待修复的图像上。无需过于追求完美,保证轮廓和姿势正确即可,后续可以通过Stable Diffusion进行精细修复。从网上找一个白虎的耳朵,拼接到需要修复的图片上。
准备工作完成后,即可利用Stable Diffusion对图像进行重绘,恢复画面的自然感。进入Stable Diffusion的图生图界面,上传待修复的图片,并在局部重绘界面选择一个写实模型,例如majicMIX realistic。首先重绘左手,使用画笔在左手上进行涂抹,并对局部重绘参数进行设置。将“绘制区域”设置为“仅蒙版”,并设置一个较低的重绘幅度。
为了精确控制手部的姿势,可以使用ControlNet的OpenPose功能。同时,为了增加手部细节,可以使用Adetailer插件。接下来,对右手和脸部进行局部重绘。相较于左手,右手和脸部的修复更为简单,无需使用ControlNet。对于脸部修复,可以使用Adetailer插件,并选择以“face”开头的脸部模型。为了改变人物容貌,可以适当提高脸部的重绘强度。
完成三个部分的局部重绘后,可以得到一张初步修复的图像。由于图像尺寸较小,细节方面可能存在不足。因此,可以使用ControlNet的Tile模型进行放大处理。根据需要设置放大倍数,并将重绘幅度设置为一个较低的数值。
最终,经过Stable Diffusion的局部重绘和放大处理,可以得到一张细节更加完善的图像。ControlNet已更新至1.1版本,新增了更多的预处理器和模型,每种模型对应不同的采集方式和应用场景,为图像修复提供了更多可能性。
ControlNet 1.1提供了多种实用模型,包括:
- 线稿上色:利用Canny、SoftEdge、Lineart等模型提取线稿,然后根据提示词和风格模型进行着色和风格化。Canny模型可以保留图像结构,并进行着色和风格化。
- 涂鸦成图:利用Scribble模型提取涂鸦图,然后根据提示词和风格模型进行着色和风格化。Scribble模型比Canny等模型更具自由度,可用于手绘稿的着色和风格处理。Scribble预处理器有三种模式:Scribble_hed、Scribble_pidinet、Scribble_Xdog,其中Scribble_Xdog的处理细节更为丰富。
- 建筑/室内设计:利用MLSD模型提取建筑的线条结构和几何形状,构建建筑线框,再配合提示词和建筑/室内设计风格模型生成图像。MLSD模型可以将毛坯房变为精装房。
- 颜色控制画面:利用Segmentation语义分割模型,标注画面中的不同区块颜色和结构,从而控制画面的构图和内容。
- 背景替换:在img2img图生图模式中,利用Depth_leres模型移除背景,再通过提示词更换想要的背景。在Inpaint模式中,可以对需要保留的图片内容添加蒙版,并将remove background值设置在70-80%。
- 图片指令:利用Pix2Pix模型(ip2p)对图片进行指令式变换。采用指令式提示词(如make Y into X),实现图像的特定效果。
- 风格迁移:利用Shuffle模型提取参考图的风格,再配合提示词将风格迁移到生成图上。
- 色彩继承:利用t2iaColor模型提取参考图的色彩分布情况,再配合提示词和风格模型将色彩应用到生成图上。
ControlNet 1.1还提供了一些高级应用,包括人物和背景分别控制、三维重建、更精准的图片风格化以及更精准的图片局部重绘。
总而言之,Stable Diffusion和ControlNet等工具为AI生成图像的修复和优化提供了强大的支持,使得我们能够更好地控制生成效果,创造出更加精美的图像作品。