test/AIAS
1
0
Fork 0
mirror of https://gitee.com/mymagicpower/AIAS.git synced 2024-12-01 19:58:22 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
423e96e055
AIAS/7_aigc/controlnet_sdks
History
Calvin c39080eafd update readme
2024-10-20 16:27:54 +08:00
..
canny_sdk update readme 2024-10-20 16:27:54 +08:00
content_shuffle_sdk update readme 2024-10-20 16:27:54 +08:00
depth_estimation_dpt_sdk update readme 2024-10-20 16:27:54 +08:00
depth_estimation_midas_sdk update readme 2024-10-20 16:27:54 +08:00
lineart_anime_sdk update readme 2024-10-20 16:27:54 +08:00
lineart_coarse_sdk update readme 2024-10-20 16:27:54 +08:00
lineart_sdk update readme 2024-10-20 16:27:54 +08:00
mlsd_sdk update readme 2024-10-20 16:27:54 +08:00
normal_bae_sdk update readme 2024-10-20 16:27:54 +08:00
pose_sdk update readme 2024-10-20 16:27:54 +08:00
scribble_hed_sdk update readme 2024-10-20 16:27:54 +08:00
scribble_pidinet_sdk update readme 2024-10-20 16:27:54 +08:00
seg_upernet_sdk java stable difffusion sdk 2024-10-19 16:35:25 +08:00
softedge_hed_sdk update readme 2024-10-20 16:27:54 +08:00
softedge_pidinet_sdk update readme 2024-10-20 16:27:54 +08:00
README_CN.md no message 2024-10-19 16:48:55 +08:00
README.md update readme 2024-10-20 16:27:54 +08:00

README.md

官网：

官网链接

下载模型，放置于各自项目的models目录

图像生成预处理

  • 显卡CUDA：11.7版本
  • 参考测试数据：分辨率 512*512 25步 CPU(i5处理器) 5分钟。 3060显卡20秒。

1. Canny 边缘检测

  • CannyExample
  • Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓，常用于生成线稿。
  • 对应ControlNet模型： control_canny

2. MLSD 线条检测

  • MlsdExample
  • MLSD 线条检测用于生成房间、直线条的建筑场景效果比较好。
  • 对应ControlNet模型： control_mlsd

3. Scribble 涂鸦

  • HedScribbleExample
  • PidiNetScribbleGPUExample
  • 不用自己画，图片自动生成类似涂鸦效果的草图线条。
  • 对应ControlNet模型： control_mlsd

4. SoftEdge 边缘检测

  • HED - HedScribbleExample
  • HED Safe - HedScribbleExample
  • PidiNet - PidiNetGPUExample
  • PidiNet Safe - PidiNetGPUExample
  • SoftEdge 边缘检测可保留更多柔和的边缘细节，类似手绘效果。
  • 对应ControlNet模型： control_softedge。

5. OpenPose 姿态检测

  • PoseExample
  • OpenPose 姿态检测可生成图像中角色动作姿态的骨架图(含脸部特征以及手部骨架检测)，这个骨架图可用于控制生成角色的姿态动作。
  • 对应ControlNet模型： control_openpose。

6. Segmentation 语义分割

  • SegUperNetExample
  • 语义分割可多通道应用，原理是用颜色把不同类型的对象分割开，让AI能正确识别对象类型和需求生成的区界。
  • 对应ControlNet模型： control_seg。

7. Depth 深度检测

  • Midas - MidasDepthEstimationExample
  • DPT - DptDepthEstimationExample
  • 通过提取原始图片中的深度信息，生成具有原图同样深度结构的深度图，越白的越靠前，越黑的越靠后。
  • 对应ControlNet模型： control_depth。

8. Normal Map 法线贴图

  • NormalBaeExample
  • 根据图片生成法线贴图，适合CG或游戏美术师。法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图，便于AI给图片内容进行更好的光影处理，它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多，常用于贴在低模上模拟高模的复杂光影效果。
  • 对应ControlNet模型： control_normal。

9. Lineart 生成线稿

  • LineArtExample
  • Lineart 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓，用于生成线稿。
  • 对应ControlNet模型： control_lineart。

10. Lineart Anime 生成线稿

  • LineArtAnimeExample
  • Lineart Anime 边缘检测预处理器可很好识别出卡通图像内各对象的边缘轮廓，用于生成线稿。
  • 对应ControlNet模型： control_lineart_anime。

11. Content Shuffle

  • ContentShuffleExample
  • Content Shuffle 图片内容变换位置，打乱次序，配合模型 control_v11e_sd15_shuffle 使用。
  • 对应ControlNet模型： control_shuffle。

帮助文档：