AIAS/7_aigc

项目清单:

• 7_aigc - [图像生成]

  1). 图像生成预处理工具箱 controlnet_sdks
  2). 图像生成SD工具箱 stable_diffusion_sdks
      ...

• 7.1 图像生成预处理工具箱 controlnet_sdks

1. Canny 边缘检测 - canny_sdk - Canny 边缘检测预处理器可很好识别出 图像内各对象的边缘轮廓，常用于生成线稿。 - 对应ControlNet模型： control_canny
2. MLSD 线条检测 - mlsd_sdk - MLSD 线条检测用于生成房间、 直线条的建筑场景效果比较好。 - 对应ControlNet模型： control_mlsd
3. Scribble 涂鸦 - scribble_hed_sdk - scribble_pidinet_sdk - 图片自动生成类似涂鸦效果的草图线条。 - 对应ControlNet模型： control_mlsd
4. SoftEdge 边缘检测 - softedge_hed_sdk - HED - HedScribbleExample - HED Safe - HedScribbleExample - softedge_pidinet_sdk - PidiNet - PidiNetGPUExample - PidiNet Safe - PidiNetGPUExample - SoftEdge 边缘检测可保留更多柔和的边缘细节， 类似手绘效果。 - 对应ControlNet模型： control_softedge。
5. OpenPose 姿态检测 - pose_sdk - OpenPose 姿态检测可生成图像中角色动作 姿态的骨架图(含脸部特征以及手部骨架检测) ，这个骨架图可用于控制生成角色的姿态动作。 - 对应ControlNet模型： control_openpose。
6. Segmentation 语义分割 - seg_upernet_sdk - 语义分割可多通道应用， 原理是用颜色把不同类型的对象分割开， 让AI能正确识别对象类型和需求生成的区界。 - 对应ControlNet模型： control_seg。
7. Depth 深度检测 - depth_estimation_midas_sdk - Midas - MidasDepthEstimationExample - depth_estimation_dpt_sdks - DPT - DptDepthEstimationExample - 通过提取原始图片中的深度信息， 生成具有原图同样深度结构的深度图， 越白的越靠前，越黑的越靠后。 - 对应ControlNet模型： control_depth。
8. Normal Map 法线贴图 - normal_bae_sdk - NormalBaeExample - 根据图片生成法线贴图，适合CG或游戏美术师。 法线贴图能根据原始素材生成 一张记录凹凸信息的法线贴图， 便于AI给图片内容进行更好的光影处理， 它比深度模型对于细节的保留更加的精确。 法线贴图在游戏制作领域用的较多， 常用于贴在低模上模拟高模的复杂光影效果。 - 对应ControlNet模型： control_normal。
9. Lineart 生成线稿 - lineart_sdk - lineart_coarse_sdk - Lineart 边缘检测预处理器可很好识别出 图像内各对象的边缘轮廓，用于生成线稿。 - 对应ControlNet模型： control_lineart。
10. Lineart Anime 生成线稿 - lineart_anime_sdk - LineArtAnimeExample - Lineart Anime 边缘检测预处理器 可很好识别出卡通图像内 各对象的边缘轮廓，用于生成线稿。 - 对应ControlNet模型： control_lineart_anime。
11. Content Shuffle - content_shuffle_sdk - ContentShuffleExample - Content Shuffle 图片内容变换位置， 打乱次序，配合模型 control_v11e_sd15_shuffle 使用。 - 对应ControlNet模型： control_shuffle。

• 7.2 图像生成SD工具箱 stable_diffusion_sdks

1. 文生图：输入提示词（仅支持英文）， 生成图片（仅支持英文） - txt2image_sdk
2. 图生图：根据图片及提示词 （仅支持英文）生成图片 - image2image_sdk
3. Lora 文生图 - lora_sdk
4. Controlnet 图像生成-4.1. Canny 边缘检测 - controlnet_canny_sdk - Canny 边缘检测预处理器可 很好识别出图像内各对象 的边缘轮廓，常用于生成线稿。
4. Controlnet 图像生成-4.2. MLSD 线条检测 - controlnet_mlsd_sdk - MLSD 线条检测用于生成房间、 直线条的建筑场景效果比较好。
4. Controlnet 图像生成-4.3. Scribble 涂鸦 - controlnet_scribble_sdk - 图片自动生成类似涂鸦效果的草图线条。
4. Controlnet 图像生成-4.4. SoftEdge 边缘检测 - controlnet_softedge_sdk - SoftEdge 边缘检测可保留更多 柔和的边缘细节，类似手绘效果。
4. Controlnet 图像生成-4.5. OpenPose 姿态检测 - controlnet_pose_sdk - OpenPose 姿态检测可生成图像 中角色动作姿态的骨架图 (含脸部特征以及手部骨架检测) ，这个骨架图可用于控制生成角色的姿态动作。
4. Controlnet 图像生成-4.6. Segmentation 语义分割 - controlnet_seg_sdk - 语义分割可多通道应用， 原理是用颜色把不同类型的对象分割开， 让AI能正确识别对象类型和需求生成的区界。
4. Controlnet 图像生成-4.7. Depth 深度检测 - controlnet_depth_sdk - 通过提取原始图片中的深度信息， 生成具有原图同样深度结构的深度图， 越白的越靠前，越黑的越靠后。
4. Controlnet 图像生成-4.8. Normal Map 法线贴图 - controlnet_normal_sdk - 根据图片生成法线贴图， 适合CG或游戏美术师。 法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图， 便于AI给图片内容进行更好的光影处理， 它比深度模型对于细节的保留更加的精确。 法线贴图在游戏制作领域用的较多， 常用于贴在低模上模拟高模的复杂光影效果。
4. Controlnet 图像生成-4.9. Lineart 生成线稿 - controlnet_lineart_sdk - controlnet_lineart_coarse_sdk - Lineart 边缘检测预处理器可很好识别出 图像内各对象的边缘轮廓，用于生成线稿。
4. Controlnet 图像生成-4.10. Lineart Anime 生成线稿 - controlnet_lineart_anime_sdk - Lineart Anime 边缘检测预处理器可很好 识别出卡通图像内各对象的边缘轮廓， 用于生成线稿。
4. Controlnet 图像生成-4.11. Content Shuffle - controlnet_shuffle_sdk - Content Shuffle 图片内容变换位置， 打乱次序，配合模型 control_v11e_sd15_shuffle 使用。