update readme.

This commit is contained in:
Calvin 2024-10-20 14:01:45 +08:00
parent fd478429f6
commit b2d521b6e3
39 changed files with 1482 additions and 232 deletions

438
1_image_sdks/README_CN.md Normal file
View File

@ -0,0 +1,438 @@
#### 项目清单:
- 1. 1_image_sdks - [图像识别 SDK]
```text
1). 工具箱系列:图像处理工具箱(静态图像)
2). 目标检测
3). 图像分割
4). GAN
5). 其它类别OCR等
...
```
<div align="center">
<table>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 1OCR方向检测与旋转 - ocr_sdks/ocr_direction_det_sdk</p>
OCR图像预处理。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/RotationExample.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 2OCR文字识别 - ocr_sdks/ocr_v3_sdk</p>
1. V3 文本检测: <br>
- 中文文本检测<br>
- 英文文本检测<br>
- 多语言文本检测<br>
2. V3 文本识别:<br>
- 中文简体<br>
- 中文繁体<br>
- 英文<br>
- 韩语<br>
- 日语<br>
- 阿拉伯<br>
- 梵文<br>
- 泰米尔语<br>
- 泰卢固语<br>
- 卡纳达文<br>
- 斯拉夫<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/OcrV3RecExample2.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 3OCR文字识别 - ocr_sdks/ocr_v4_sdk</p>
原生支持旋转倾斜文本文字识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/OcrV3RecExample2.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 4版面分析 - ocr_sdks/ocr_layout_sdk</p>
可以用于配合文字识别,表格识别的流水线处理使用。 <br>
1. 中文版面分析<br>
2. 英文版面分析<br>
3. 中英文文档 - 表格区域检测<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/LayoutCNDetExample.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 5 表格识别 - ocr_sdks/ocr_table_sdk</p>
中英文表格识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/TableENRecExample.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<tr>
<td style="width:220px">
<div align="left">
<p>OCR工具箱 6 led文字识别 - ocr_sdks/ocr_led_sdk</p>
led表盘文字识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/led_rec_result.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 1人脸检测(含5个人脸关键点) - face_sdks/face_detection_sdk</p>
人脸检测(含5个人脸关键点)提供了两个模型的实现。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/face_sdk/images/retinaface_detected.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 2人脸对齐- face_sdks/face_alignment_sdk</p>
根据人脸关键点对齐人脸。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/face_sdk/images/face_align.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 3人脸特征提取与比对- face_sdks/face_feature_sdk</p>
人脸识别完整的pipeline人脸检测(含人脸关键点) --> 人脸对齐 --> 人脸特征提取 --> 人脸比对
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/face_sdk/images/face_feature.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 4人脸分辨率提升- face_sdks/face_sr_sdk</p>
包含两个功能:<br>
1.单张人脸图片超分辨。<br>
2.自动检测人脸,然后对齐人脸后提升分辨率。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/face_sdk/images/single_face_sr.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 5图片人脸修复- face_sdks/face_restoration_sdk</p>
- 自动检测人脸及关键地,然后抠图,然后根据人脸关键点转正对齐。<br>
- 对所有转正对齐的人脸提升分辨率。<br>
- 使用分割模型提取人脸,逆向变换后贴回原图。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/face_sdk/images/face_res.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>人脸工具箱 6口罩检测 - face_sdks/mask_sdk</p>
口罩检测,给出检测框。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/mask_sdk/face-masks.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>动物分类识别 - classification/animal_sdk</p>
动物识别sdk支持7978种动物的分类识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/animal_sdk/tiger.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>菜品分类识别 - classification/dish_sdk</p>
菜品识别sdk支持8416种菜品的分类识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/dish_sdk/dish.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>烟火检测 - fire_smoke_sdk</p>
烟火检测,给出检测框和置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/sec_sdks/images/fire_detect_result.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>行人检测 - pedestrian_sdk</p>
行人检测,给出检测框和置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/sec_sdks/images/ped_result.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>反光衣检测 - reflective_vest_sdk</p>
实现施工区域或者危险区域人员穿戴检测。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/sec_sdks/images/reflective_detect_result.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>智慧工地检测 - smart_construction_sdk</p>
支持检测的类别:人体,安全帽。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/sec_sdks/images/helmet_head_person_l.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>车辆检测 - vehicle_sdk</p>
车辆检测,给出检测框和置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/sec_sdks/images/vehicle_result.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>图片特征提取(512维)SDK - feature_extraction_sdk</p>
提取图片512维特征值并支持图片1:1特征比对给出置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/feature_extraction_sdk/comparision.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>图像&文本的跨模态相似性比对检索 SDK【支持40种语言】 - image_text_40_sdk</p>
-图像&文本特征向量提取<br>
-相似度计算<br>
-softmax计算置信度
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/clip_Imagesearch.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>图像矫正 - image_alignment_sdk</p>
-自动检测边缘,透视变换转正<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/MlsdSquareExample.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>文本图像超分辨 - image_text_sr_sdk</p>
-可以用于提升电影字幕清晰度。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/OCR/images/TextSrExample.jpg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>图像超分辨(4倍)- super_resolution_sdk</p>
-提升图片4倍分辨率。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/super_resolution_sdk/stitch0.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>黑白图片上色 - image_colorization_sdk</p>
-应用到黑白图像中,从而实现黑白照片的上色。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/cv/image_colorization_sdk/color.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>一键抠图工具箱 - 1. 通用一键抠图</p>
- seg_unet_sdk <br>
-包括三个模型:满足不同精度,速度的要求。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/cv/seg_unet_sdk/general.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>一键抠图工具箱 - 2. 动漫一键抠图</p>
- seg_unet_sdk <br>
无需手动绘制边界,大大提高了抠图的效率和精准度。应用场景如:<br>
- 广告设计<br>
- 影视后期制作<br>
- 动漫创作等<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/cv/seg_unet_sdk/anime.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>一键抠图工具箱 - 3. 衣服一键抠图</p>
- seg_unet_sdk <br>
衣服一键抠图应用场景可以在很多方面发挥作用,以下是一些简要介绍: <br>
- 电子商务 <br>
- 社交媒体 <br>
- 广告设计 <br>
- 时尚设计 <br>
- 虚拟试衣 <br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/cv/seg_unet_sdk/cloth.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>一键抠图工具箱 - 4. 人体一键抠图</p>
- seg_unet_sdk <br>
-人体一键抠图可以将人体从背景中抠出,形成一个透明背景的人体图像。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/cv/seg_unet_sdk/human.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

158
2_nlp_sdks/README_CN.md Normal file
View File

@ -0,0 +1,158 @@
#### 项目清单:
- 2_nlp_sdks - [自然语言 SDK]
```text
1). 工具箱系列sentencepiecefastTextnpy/npz文件处理等。
2). 大模型
3). 词向量
4). 机器翻译
...
```
<div align="center">
<table>
<tr>
<td style="width:220px">
<div align="left">
<p>fastText - kits/fasttext_sdk</p>
fastText是一个快速文本分类算法。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/fastText.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>解析npy/npz文件 - kits/npy_npz_sdk</p>
java读取python numpy保存的npz、npy文件。。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/numpy.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>Sentencepiece分词 - kits/sentencepiece_sdk</p>
Sentencepiece分词的Java实现。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/wordpiece.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>jieba分词 - lexical_analysis/jieba_sdk</p>
jieba分词java版本的简化实现。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/jieba.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>词法分析SDK [中文] - lexical_analysis/lac_sdk</p>
词法分析模型能整体性地完成中文分词、词性标注、专名识别任务。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/lac_network.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>202种语言互相翻译 - translation/trans_nllb_sdk</p>
支持202种语言互相翻译,支持 CPU / GPU。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/translation.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>中英互相翻译 - translation/translation_sdk</p>
可以进行英语和中文之间的翻译,支持 CPU / GPU。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/translation.jpeg" width = "400px"/>
</div>
</td>
</tr>
<td style="width:220px">
<div align="left">
<p>代码特征向量提取工具箱 - embedding/*</p>
3个SDK<br>
1.code2vec_sdk<br>
2.codet5p_110m_sdk<br>
3.mpnet_base_v2_sdk<br>
自然语言与代码特征提取工具箱提供3个SDK以满足不同精度与速度的需要。。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/Universal-Sentence-Encoder.png" width = "400px"/>
</div>
</td>
</tr>
</tr>
<td style="width:220px">
<div align="left">
<p>文本特征提取向量工具箱【中文】 - embedding/*</p>
文本语义特征提取工具箱提供4个 SDK<br>
1.m3e_cn_sdk<br>
2.text2vec_base_chinese_sdk<br>
3.text2vec_base_chinese_sentence_sdk<br>
4.text2vec_base_chinese_paraphrase_sdk
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/Universal-Sentence-Encoder.png" width = "400px"/>
</div>
</td>
</tr>
</tr>
<td style="width:220px">
<div align="left">
<p>文本特征提取向量工具箱【中文】 - embedding/*</p>
文本语义特征向量提取工具箱【多语言】提供 3 个 SDK<br>
1.sentence_encoder_15_sdk支持 15 种语言)<br>
2.sentence_encoder_100_sdk支持100种语言<br>
3.text2vec_base_multilingual_sdk支持50+种语言)
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/Universal-Sentence-Encoder.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

71
3_audio_sdks/README_CN.md Normal file
View File

@ -0,0 +1,71 @@
#### 项目清单:
- 3_audio_sdks - [语音处理 SDK]
```text
1). 工具箱系列音素工具箱librosajava soundjavacv ffmpeg, fft, vad工具箱等。
2). 声音克隆
3). 语音合成
4). 声纹识别
5). 语音识别
...
```
<div align="center">
<table>
<tr>
<td>
<div align="left">
<p>语音识别ASR【短语音】 - asr_whisper_sdk</p>
中文语音识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/voice_sdks/asr.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>语音识别ASR【长语音】 - asr_whisper_long_sdk</p>
中文语音识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/voice_sdks/asr.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>语音处理包Librosa- librosa_sdk</p>
python语音处理库librosa的java实现。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/voice_sdks/phoneme.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>TTS 文本转为语音 - tts_sdk</p>
TTS 文本转为语音。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/voice_sdks/SV2TTS.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

54
4_video_sdks/README_CN.md Normal file
View File

@ -0,0 +1,54 @@
#### 项目清单:
- 4_video_sdks - [视频解析SDK]
```text
1). 摄像头口罩检测 - camera_facemask_sdk
2). MP4检测口罩 - mp4_facemask_sdk
3). rtsp取流检测口罩 - rtsp_facemask_sdk
```
<div align="center">
<table>
<tr>
<td style="width:220px">
<div align="left">
<p>摄像头口罩检测 - camera_facemask_sdk</p>
读取本地摄像头,实时(需要有显卡的台式机,否则会比较卡顿)检测口罩。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/mask_sdk/face-masks.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>MP4检测口罩 - mp4_facemask_sdk</p>
读取本地MP4文件实时需要有显卡的台式机否则会比较卡顿检测口罩。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/mask_sdk/face-masks.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>rtsp取流检测口罩 - rtsp_facemask_sdk</p>
通过rtsp取流实时需要有显卡的台式机否则会比较卡顿检测口罩。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/mask_sdk/face-masks.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>
s

View File

@ -0,0 +1,43 @@
#### 项目清单:
- 5_bigdata_sdks - [大数据SDK]
```text
1). flink-情感倾向分析【英文】- flink_sentence_encoder_sdk
2). kafka-情感倾向分析【英文】- kafka_sentiment_analysis_sdk
...
```
<div align="center">
<table>
<tr>
<td style="width:220px">
<div align="left">
<p>flink-情感倾向分析【英文】SDK - flink_sentiment_analysis_sdk</p>
情感倾向分析Sentiment Classification
针对带有主观描述的文本,可自动判断该文本的情感极性类别并给出相应的置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/sentiment_analysis.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td style="width:220px">
<div align="left">
<p>kafka-情感倾向分析【英文】SDK - kafka_sentiment_analysis_sdk</p>
情感倾向分析Sentiment Classification
针对带有主观描述的文本,可自动判断该文本的情感极性类别并给出相应的置信度。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/nlp_sdks/sentiment_analysis.jpeg" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

189
6_web_app/README_CN.md Normal file
View File

@ -0,0 +1,189 @@
#### 项目清单:
- 6_web_app - [Web应用前端VUE后端Springboot]
```text
1). 训练引擎
...
```
<div align="center">
<table>
<tr>
<td>
<div align="left">
<p>AI 训练平台 - training</p>
AI训练平台提供分类模型训练能力。<br>
并以REST API形式为上层应用提供接口。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/train_platform/images/training.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>代码语义搜索 - code_search</p>
用于软件开发过程中的,代码搜代码,语义搜代码。<br>s
1. 代码语义搜索【无向量引擎版】 <br>
- simple_code_search<br>
主要特性<br>
- 支持100万以内的数据量<br>
- 随时对数据进行插入、删除、搜索、更新等操作<br>
2. 代码语义搜索【向量引擎版】 - code_search<br>
主要特性<br>
- 底层使用特征向量相似度搜索<br>
- 单台服务器十亿级数据的毫秒级搜索<br>
- 近实时搜索,支持分布式部署<br>
- 随时对数据进行插入、删除、搜索、更新等操作
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/data/images/code_search_arc.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>202种语言互相翻译 Web 应用 - text_translation</p>
- 支持202种语言互相翻译。<br>
- 支持 CPU / GPU<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/assets/nllb.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>一键抠图 Web 应用 - image_seg</p>
当前版本包含了下面功能:<br>
- 1. 通用一键抠图<br>
- 2. 人体一键抠图<br>
- 3. 动漫一键抠图
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/assets/seg_all.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>图片一键高清- image_gan</p>
当前版本包含了下面功能:<br>
- 图片一键高清: 提升图片4倍分辨率。<br>
- 头像一键高清<br>
- 人脸一键修复<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/assets/imageSr.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>图像&文本的跨模态相似性比对检索【支持40种语言】<br>
- image_text_search</p>
- 包含两个项目,满足不同场景的需要<br>
- 1. 图像&文本的跨模态相似性比对检索<br>
【无向量引擎版】 <br>
- simple_image_text_search<br>
- 支持100万以内的数据量<br>
- 随时对数据进行插入、删除、搜索、更新等操作<br>
- 2. 图像&文本的跨模态相似性比对检索<br>
【向量引擎版】 <br>
- image_text_search<br>
- 以图搜图:上传图片搜索<br>
- 以文搜图:输入文本搜索<br>
- 数据管理:提供图像压缩包(zip格式)上传<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/7_engine_hub/image_text_search/search3.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>文本向量搜索 - text_search</p>
- 包含两个项目,满足不同场景的需要<br>
- 1. 文本向量搜索【无向量引擎版】 <br>
- simple_text_search <br>
- 2. 文本向量搜索【向量引擎版】 <br>
- text_search<br>
- 语义搜索,通过句向量相似性,<br>检索语料库中与query最匹配的文本 <br>
- 文本聚类,文本转为定长向量,<br>通过聚类模型可无监督聚集相似文本 <br>
- 文本分类,表示成句向量,<br>直接用简单分类器即训练文本分类器 <br>
- RAG 用于大模型搜索增强生成
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/text_search/search.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>人像搜索 - face_search</p>
- 包含两个项目,满足不同场景的需要<br>
- 1. 人像搜索【精简版】 <br>
- simple_face_search <br>
- 2. 人像搜索【完整版】<br>
- face_search<br>
- 搜索管理:提供通用图像搜索,<br>人像搜索,图像信息查看<br>
- 存储管理:提供图像压缩包(zip格式)上传,<br>人像特征提取,通用特征提取<br>
- 用户管理:提供用户的相关配置,<br>新增用户后默认密码为123456<br>
- 角色管理:对权限与菜单进行分配,<br>可根据部门设置角色的数据权限<br>
- 菜单管理:已实现菜单动态路由,<br>后端可配置化,支持多级菜单<br>
- 部门管理:可配置系统组织架构,<br>树形表格展示<br>
- 岗位管理:配置各个部门的职位<br>
- 字典管理:可维护常用一些固定的数据,<br>如:状态,性别等<br>
- 系统日志:记录用户操作日志与异常日志,<br>方便开发人员定位排错<br>
- SQL监控采用druid 监控数据库访问性能,<br>默认用户名admin密码123456<br>
- 定时任务整合Quartz做定时任务<br>加入任务日志,任务运行情况一目了然<br>
- 服务监控:监控服务器的负载情况
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/face_search/images/search.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>语音识别Web 应用 - asr</p>
- 本例子提供了英文语音识别,<br>中文语音识别。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/audio/images/asr_zh.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

View File

@ -1,168 +1,395 @@
### 官网:
[官网链接](https://www.aias.top/)
### 下载模型放置于各自项目的models目录
- 链接: https://pan.baidu.com/s/1sQu1mVR6pPqyBL8nil89tg?pwd=g287
#### 图像生成提示词参考
- https://arthub.ai/
#### 项目清单:
- 7_aigc - [图像生成]
#### 作品欣赏
```text
1). 图像生成预处理工具箱 controlnet_sdks
2). 图像生成SD工具箱 stable_diffusion_sdks
...
```
- 7.1 图像生成预处理工具箱 controlnet_sdks
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/stable_diffusion/sample.png" width = "600"/>
</div>
<table>
<tr>
<td>
<div align="left">
<p>1. Canny 边缘检测</p>
- canny_sdk<br>
- Canny 边缘检测预处理器可很好识别出<br> 图像内各对象的边缘轮廓,常用于生成线稿。<br>
- 对应ControlNet模型 control_canny<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/canny.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>2. MLSD 线条检测</p>
- mlsd_sdk<br>
- MLSD 线条检测用于生成房间、<br> 直线条的建筑场景效果比较好。<br>
- 对应ControlNet模型 control_mlsd<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/mlsd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>3. Scribble 涂鸦</p>
- scribble_hed_sdk<br>
- scribble_pidinet_sdk<br>
- 图片自动生成类似涂鸦效果的草图线条。<br>
- 对应ControlNet模型 control_mlsd<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/scribble.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. SoftEdge 边缘检测</p>
- softedge_hed_sdk<br>
- HED - HedScribbleExample<br>
- HED Safe - HedScribbleExample<br>
- softedge_pidinet_sdk<br>
- PidiNet - PidiNetGPUExample<br>
- PidiNet Safe - PidiNetGPUExample<br>
- SoftEdge 边缘检测可保留更多柔和的边缘细节,<br> 类似手绘效果。<br>
- 对应ControlNet模型 control_softedge。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/softedge.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>5. OpenPose 姿态检测</p>
- pose_sdk<br>
- OpenPose 姿态检测可生成图像中角色动作<br>姿态的骨架图(含脸部特征以及手部骨架检测)<br>,这个骨架图可用于控制生成角色的姿态动作。<br>
- 对应ControlNet模型 control_openpose。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/openpose.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>6. Segmentation 语义分割</p>
- seg_upernet_sdk<br>
- 语义分割可多通道应用,<br>原理是用颜色把不同类型的对象分割开,<br>让AI能正确识别对象类型和需求生成的区界。<br>
- 对应ControlNet模型 control_seg。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/seg.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>7. Depth 深度检测</p>
- depth_estimation_midas_sdk<br>
- Midas - MidasDepthEstimationExample<br>
- depth_estimation_dpt_sdks<br>
- DPT - DptDepthEstimationExample<br>
- 通过提取原始图片中的深度信息,<br>生成具有原图同样深度结构的深度图,<br>越白的越靠前,越黑的越靠后。<br>
- 对应ControlNet模型 control_depth。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/depth.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>8. Normal Map 法线贴图</p>
- normal_bae_sdk<br>
- NormalBaeExample<br>
- 根据图片生成法线贴图适合CG或游戏美术师。<br>法线贴图能根据原始素材生成<br>一张记录凹凸信息的法线贴图,<br>便于AI给图片内容进行更好的光影处理<br>它比深度模型对于细节的保留更加的精确。<br>法线贴图在游戏制作领域用的较多,<br>常用于贴在低模上模拟高模的复杂光影效果。<br>
- 对应ControlNet模型 control_normal。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/normal.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>9. Lineart 生成线稿</p>
- lineart_sdk<br>
- lineart_coarse_sdk<br>
- Lineart 边缘检测预处理器可很好识别出<br>图像内各对象的边缘轮廓,用于生成线稿。
- 对应ControlNet模型 control_lineart。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>10. Lineart Anime 生成线稿</p>
- lineart_anime_sdk<br>
- LineArtAnimeExample<br>
- Lineart Anime 边缘检测预处理器<br>可很好识别出卡通图像内<br>各对象的边缘轮廓,用于生成线稿。<br>
- 对应ControlNet模型 control_lineart_anime。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_anime.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>11. Content Shuffle</p>
- content_shuffle_sdk<br>
- ContentShuffleExample<br>
- Content Shuffle 图片内容变换位置,<br>打乱次序,配合模型 <br>control_v11e_sd15_shuffle 使用。<br>
- 对应ControlNet模型 control_shuffle。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/shuffle.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>
#### 测试环境和数据
- 显卡CUDA11.7版本
- 参考测试数据:分辨率 512*512 25步 CPU(i5处理器) 5分钟。 3060显卡20秒。
#### 1. 文生图:输入提示词(仅支持英文),生成图片(仅支持英文)
- GPU版本 StableDiffusionGPU.java
- CPU版本 StableDiffusionCPU.java
#### 文生图测试
- 提示词 prompt a photo of an astronaut riding a horse on mars
- 生成图片效果:
- 7.2 图像生成SD工具箱 stable_diffusion_sdks
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/stable_diffusion/astronaut.png" width = "400"/>
</div>
<table>
<tr>
<td>
<div align="left">
<p>1. 文生图:输入提示词(仅支持英文),<br>生成图片(仅支持英文)</p>
- txt2image_sdk<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/stable_diffusion/astronaut.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>2. 图生图:根据图片及提示词<br>(仅支持英文)生成图片</p>
- image2image_sdk<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/stable_diffusion/astronaut.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>3. Lora 文生图</p>
- lora_sdk<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/stable_diffusion/astronaut.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.1. Canny 边缘检测</p>
- controlnet_canny_sdk<br>
- Canny 边缘检测预处理器可<br>很好识别出图像内各对象<br>的边缘轮廓,常用于生成线稿。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/canny_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.2. MLSD 线条检测</p>
- controlnet_mlsd_sdk<br>
- MLSD 线条检测用于生成房间、<br>直线条的建筑场景效果比较好。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/mlsd_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.3. Scribble 涂鸦</p>
- controlnet_scribble_sdk<br>
- 图片自动生成类似涂鸦效果的草图线条。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/scribble_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.4. SoftEdge 边缘检测</p>
- controlnet_softedge_sdk<br>
- SoftEdge 边缘检测可保留更多<br>柔和的边缘细节,类似手绘效果。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/softedge_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.5. OpenPose 姿态检测</p>
- controlnet_pose_sdk<br>
- OpenPose 姿态检测可生成图像<br>中角色动作姿态的骨架图<br>(含脸部特征以及手部骨架检测)<br>,这个骨架图可用于控制生成角色的姿态动作。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/openpose_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.6. Segmentation 语义分割</p>
- controlnet_seg_sdk<br>
- 语义分割可多通道应用,<br>原理是用颜色把不同类型的对象分割开,<br>让AI能正确识别对象类型和需求生成的区界。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/seg_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.7. Depth 深度检测</p>
- controlnet_depth_sdk<br>
- 通过提取原始图片中的深度信息,<br>生成具有原图同样深度结构的深度图,<br>越白的越靠前,越黑的越靠后。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/depth_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.8. Normal Map 法线贴图</p>
- controlnet_normal_sdk<br>
- 根据图片生成法线贴图,<br>适合CG或游戏美术师。<br>法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图,<br>便于AI给图片内容进行更好的光影处理<br>它比深度模型对于细节的保留更加的精确。<br>法线贴图在游戏制作领域用的较多,<br>常用于贴在低模上模拟高模的复杂光影效果。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/normal_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.9. Lineart 生成线稿</p>
- controlnet_lineart_sdk<br>
- controlnet_lineart_coarse_sdk<br>
- Lineart 边缘检测预处理器可很好识别出<br>图像内各对象的边缘轮廓,用于生成线稿。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.10. Lineart Anime 生成线稿</p>
- controlnet_lineart_anime_sdk<br>
- Lineart Anime <br>边缘检测预处理器可很好<br>识别出卡通图像内各对象的边缘轮廓,<br>用于生成线稿。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_anime_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.11. Content Shuffle</p>
- controlnet_shuffle_sdk<br>
- Content Shuffle 图片内容变换位置,<br>打乱次序,配合模型 <br>control_v11e_sd15_shuffle 使用。
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/shuffle_sd.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>
### 2. 图生图:根据图片及提示词(仅支持英文)生成图片
- CPU版本 Image2ImageCpu.java
- GPU版本 Image2ImageGpu.java
### 3. Lora 文生图
- CPU版本 LoraTxt2ImageCpu.java
### 4. Controlnet 图像生成
- 显卡CUDA11.7版本
- 参考测试数据:分辨率 512*512 25步 CPU(i5处理器) 5分钟。 3060显卡20秒。
#### 4.1. Canny 边缘检测
- CPU版本 ControlNetCannyCpu.java
- GPU版本 ControlNetCannyGpu.java
- Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,常用于生成线稿。
- 对应ControlNet模型 control_canny
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/canny_sd.png" width = "600"/>
</div>
#### 4.2. MLSD 线条检测
- CPU版本 ControlNetMlsdCpu.java
- GPU版本 ControlNetMlsdGpu.java
- MLSD 线条检测用于生成房间、直线条的建筑场景效果比较好。
- 对应ControlNet模型 control_mlsd
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/mlsd_sd.png" width = "600"/>
</div>
#### 4.3. Scribble 涂鸦
- CPU版本 ControlNetScribbleHedCpu.javaControlNetScribblePidiNetCpu.java
- GPU版本 ControlNetScribbleHedGpu.javaControlNetScribblePidiNetGpu.java
- 不用自己画,图片自动生成类似涂鸦效果的草图线条。
- 对应ControlNet模型 control_scribble
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/scribble_sd.png" width = "600"/>
</div>
#### 4.4. SoftEdge 边缘检测
- HED Safe
- PidiNet
- PidiNet Safe
- CPU版本 ControlNetSoftEdgeCpu
- GPU版本 ControlNetSoftEdgeGpu
- SoftEdge 边缘检测可保留更多柔和的边缘细节,类似手绘效果。
- 对应ControlNet模型 control_softedge。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/softedge_sd.png" width = "600"/>
</div>
#### 4.5. OpenPose 姿态检测
- CPU版本 ControlNetPoseCpu.java
- GPU版本 ControlNetPoseGpu.java
- OpenPose 姿态检测可生成图像中角色动作姿态的骨架图(含脸部特征以及手部骨架检测),这个骨架图可用于控制生成角色的姿态动作。
- 对应ControlNet模型 control_openpose。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/openpose_sd.png" width = "600"/>
</div>
#### 4.6. Segmentation 语义分割
- CPU版本 ControlNetSegCpu.java
- GPU版本 ControlNetSegGpu.java
- 语义分割可多通道应用原理是用颜色把不同类型的对象分割开让AI能正确识别对象类型和需求生成的区界。
- 对应ControlNet模型 control_seg。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/seg_sd.png" width = "600"/>
</div>
#### 4.7. Depth 深度检测
- Midas
- CPU版本 ControlNetDepthDptCpu.java
- GPU版本 ControlNetDepthDptGpu.java
- DPT
- CPU版本 ControlNetDepthMidasCpu.java
- GPU版本 ControlNetDepthMidasGpu.java
- 通过提取原始图片中的深度信息,生成具有原图同样深度结构的深度图,越白的越靠前,越黑的越靠后。
- 对应ControlNet模型 control_depth。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/depth_sd.png" width = "600"/>
</div>
#### 4.8. Normal Map 法线贴图
- CPU版本 ControlNetNormalbaeCpu.java
- GPU版本 ControlNetNormalbaeGpu.java
- 根据图片生成法线贴图适合CG或游戏美术师。法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图便于AI给图片内容进行更好的光影处理它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多常用于贴在低模上模拟高模的复杂光影效果。
- 对应ControlNet模型 control_normal。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/normal_sd.png" width = "600"/>
</div>
#### 4.9. Lineart 生成线稿
- CPU版本 ControlNetLineArtCpu.java
- GPU版本 ControlNetLineArtGpu.java
- Lineart 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,用于生成线稿。
- 对应ControlNet模型 control_lineart。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_sd.png" width = "600"/>
</div>
#### 4.10. Lineart Anime 生成线稿
- CPU版本 ControlNetLineArtAnimeCpu.java
- GPU版本 ControlNetLineArtAnimeGpu.java
- Lineart Anime 边缘检测预处理器可很好识别出卡通图像内各对象的边缘轮廓,用于生成线稿。
- 对应ControlNet模型 control_lineart_anime。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_anime_sd.png" width = "600"/>
</div>
#### 4.11. Content Shuffle
- CPU版本 ControlNetShuffleCpu.java
- GPU版本 ControlNetShuffleGpu.java
- Content Shuffle 图片内容变换位置,打乱次序,配合模型 control_v11e_sd15_shuffle 使用。
- 对应ControlNet模型 control_shuffle。
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/shuffle_sd.png" width = "600"/>
</div>
#### 帮助文档:
- https://aias.top/guides.html
- 1.性能优化常见问题:
- https://aias.top/AIAS/guides/performance.html
- 2.引擎配置包括CPUGPU在线自动加载及本地配置:
- https://aias.top/AIAS/guides/engine_config.html
- 3.模型加载方式(在线自动加载,及本地配置):
- https://aias.top/AIAS/guides/load_model.html
- 4.Windows环境常见问题:
- https://aias.top/AIAS/guides/windows.html

View File

@ -0,0 +1,62 @@
#### 项目清单:
- 8_desktop_app - [桌面App]
```text
1). 大模型离线桌面App
2). OCR文字识别桌面App
3). 图像高清放大桌面App
...
```
<div align="center">
<table>
<tr>
<td>
<div align="left">
<p>大模型离线桌面App - desktop_app_llm</p>
- 支持中/英文
- 模型支持chatglm3llama3alpaca3等<br>
- 支持4位8位量化16位半精度模型。<br>
- 支持windows及mac系统<br>
- 支持CPUGPU<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/products/apps/desktop_llm1.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>OCR文字识别桌面App - desktop_app_ocr</p>
- 图片文字识别<br>
- 支持windows, linux, mac 一键安装
</div>
</td>
<td>
<div align="center">
<img src="https://aiart.oss-cn-shanghai.aliyuncs.com/assets/ocr.jpeg" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>图像高清放大桌面App <br>
- desktop_app_upscale</p>
- 单张图片分辨率放大<br>
- 批量图片分辨率放大<br>
- 支持 windows, macos, ubuntu<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aiart.oss-cn-shanghai.aliyuncs.com/assets/upscale.png" width = "400px"/>
</div>
</td>
</tr>
</table>
</div>

150
README.md
View File

@ -23,6 +23,18 @@
<br>
<hr>
#### 1. 官网:
- 网址http://www.aias.top/
- 帮助https://aias.top/guides.html
#### 2. 开源地址:
- Gitee: https://gitee.com/mymagicpower/AIAS
- GitHub: https://github.com/mymagicpower/AIAS
#### 3. 人工智能算法:
- https://zhuanlan.zhihu.com/p/693738275
<br>
<div align="center">
@ -821,7 +833,8 @@
<td>
<div align="left">
<p>AI 训练平台 - training</p>
AI训练平台提供分类模型训练能力。并以REST API形式为上层应用提供接口。
AI训练平台提供分类模型训练能力。<br>
并以REST API形式为上层应用提供接口。<br>
</div>
</td>
<td>
@ -834,8 +847,9 @@
<td>
<div align="left">
<p>代码语义搜索 - code_search</p>
用于软件开发过程中的,代码搜代码,语义搜代码。
1. 代码语义搜索【无向量引擎版】 - simple_code_search<br>
用于软件开发过程中的,代码搜代码,语义搜代码。<br>s
1. 代码语义搜索【无向量引擎版】 <br>
- simple_code_search<br>
主要特性<br>
- 支持100万以内的数据量<br>
- 随时对数据进行插入、删除、搜索、更新等操作<br>
@ -902,17 +916,20 @@
<tr>
<td>
<div align="left">
<p>图像&文本的跨模态相似性比对检索【支持40种语言】- image_text_search</p>
<p>图像&文本的跨模态相似性比对检索【支持40种语言】<br>
- image_text_search</p>
- 包含两个项目,满足不同场景的需要<br>
- 1. 图像&文本的跨模态相似性比对检索【无向量引擎版】 <br>
- 1. 图像&文本的跨模态相似性比对检索<br>
【无向量引擎版】 <br>
- simple_image_text_search<br>
- 支持100万以内的数据量<br>
- 随时对数据进行插入、删除、搜索、更新等操作<br>
- 2. 图像&文本的跨模态相似性比对检索【向量引擎版】 <br>
- 2. 图像&文本的跨模态相似性比对检索<br>
【向量引擎版】 <br>
- image_text_search<br>
- 以图搜图:上传图片搜索<br>
- 以文搜图:输入文本搜索<br>
- 数据管理:提供图像压缩包(zip格式)上传,图片特征提取
- 数据管理:提供图像压缩包(zip格式)上传<br>
</div>
</td>
<td>
@ -930,9 +947,9 @@
- simple_text_search <br>
- 2. 文本向量搜索【向量引擎版】 <br>
- text_search<br>
- 语义搜索通过句向量相似性检索语料库中与query最匹配的文本 <br>
- 文本聚类,文本转为定长向量,通过聚类模型可无监督聚集相似文本 <br>
- 文本分类,表示成句向量,直接用简单分类器即训练文本分类器 <br>
- 语义搜索,通过句向量相似性,<br>检索语料库中与query最匹配的文本 <br>
- 文本聚类,文本转为定长向量,<br>通过聚类模型可无监督聚集相似文本 <br>
- 文本分类,表示成句向量,<br>直接用简单分类器即训练文本分类器 <br>
- RAG 用于大模型搜索增强生成
</div>
</td>
@ -951,17 +968,17 @@
- simple_face_search <br>
- 2. 人像搜索【完整版】<br>
- face_search<br>
- 搜索管理:提供通用图像搜索,人像搜索,图像信息查看<br>
- 存储管理:提供图像压缩包(zip格式)上传,人像特征提取,通用特征提取<br>
- 用户管理提供用户的相关配置新增用户后默认密码为123456<br>
- 角色管理:对权限与菜单进行分配,可根据部门设置角色的数据权限<br>
- 菜单管理:已实现菜单动态路由,后端可配置化,支持多级菜单<br>
- 部门管理:可配置系统组织架构,树形表格展示<br>
- 搜索管理:提供通用图像搜索,<br>人像搜索,图像信息查看<br>
- 存储管理:提供图像压缩包(zip格式)上传,<br>人像特征提取,通用特征提取<br>
- 用户管理:提供用户的相关配置,<br>新增用户后默认密码为123456<br>
- 角色管理:对权限与菜单进行分配,<br>可根据部门设置角色的数据权限<br>
- 菜单管理:已实现菜单动态路由,<br>后端可配置化,支持多级菜单<br>
- 部门管理:可配置系统组织架构,<br>树形表格展示<br>
- 岗位管理:配置各个部门的职位<br>
- 字典管理:可维护常用一些固定的数据,如:状态,性别等<br>
- 系统日志:记录用户操作日志与异常日志,方便开发人员定位排错<br>
- SQL监控采用druid 监控数据库访问性能默认用户名admin密码123456<br>
- 定时任务整合Quartz做定时任务加入任务日志任务运行情况一目了然<br>
- 字典管理:可维护常用一些固定的数据,<br>如:状态,性别等<br>
- 系统日志:记录用户操作日志与异常日志,<br>方便开发人员定位排错<br>
- SQL监控采用druid 监控数据库访问性能,<br>默认用户名admin密码123456<br>
- 定时任务整合Quartz做定时任务<br>加入任务日志,任务运行情况一目了然<br>
- 服务监控:监控服务器的负载情况
</div>
</td>
@ -975,7 +992,7 @@
<td>
<div align="left">
<p>语音识别Web 应用 - asr</p>
- 本例子提供了英文语音识别,中文语音识别。
- 本例子提供了英文语音识别,<br>中文语音识别。
</div>
</td>
<td>
@ -1002,7 +1019,7 @@
<div align="left">
<p>1. Canny 边缘检测</p>
- canny_sdk<br>
- Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,常用于生成线稿。<br>
- Canny 边缘检测预处理器可很好识别出<br> 图像内各对象的边缘轮廓,常用于生成线稿。<br>
- 对应ControlNet模型 control_canny<br>
</div>
</td>
@ -1017,7 +1034,7 @@
<div align="left">
<p>2. MLSD 线条检测</p>
- mlsd_sdk<br>
- MLSD 线条检测用于生成房间、直线条的建筑场景效果比较好。<br>
- MLSD 线条检测用于生成房间、<br> 直线条的建筑场景效果比较好。<br>
- 对应ControlNet模型 control_mlsd<br>
</div>
</td>
@ -1033,7 +1050,7 @@
<p>3. Scribble 涂鸦</p>
- scribble_hed_sdk<br>
- scribble_pidinet_sdk<br>
- 不用自己画,图片自动生成类似涂鸦效果的草图线条。<br>
- 图片自动生成类似涂鸦效果的草图线条。<br>
- 对应ControlNet模型 control_mlsd<br>
</div>
</td>
@ -1053,7 +1070,7 @@
- softedge_pidinet_sdk<br>
- PidiNet - PidiNetGPUExample<br>
- PidiNet Safe - PidiNetGPUExample<br>
- SoftEdge 边缘检测可保留更多柔和的边缘细节,类似手绘效果。<br>
- SoftEdge 边缘检测可保留更多柔和的边缘细节,<br> 类似手绘效果。<br>
- 对应ControlNet模型 control_softedge。<br>
</div>
</td>
@ -1068,7 +1085,7 @@
<div align="left">
<p>5. OpenPose 姿态检测</p>
- pose_sdk<br>
- OpenPose 姿态检测可生成图像中角色动作姿态的骨架图(含脸部特征以及手部骨架检测),这个骨架图可用于控制生成角色的姿态动作。<br>
- OpenPose 姿态检测可生成图像中角色动作<br>姿态的骨架图(含脸部特征以及手部骨架检测)<br>,这个骨架图可用于控制生成角色的姿态动作。<br>
- 对应ControlNet模型 control_openpose。<br>
</div>
</td>
@ -1083,7 +1100,7 @@
<div align="left">
<p>6. Segmentation 语义分割</p>
- seg_upernet_sdk<br>
- 语义分割可多通道应用原理是用颜色把不同类型的对象分割开让AI能正确识别对象类型和需求生成的区界。<br>
- 语义分割可多通道应用,<br>原理是用颜色把不同类型的对象分割开,<br>让AI能正确识别对象类型和需求生成的区界。<br>
- 对应ControlNet模型 control_seg。
</div>
</td>
@ -1101,7 +1118,7 @@
- Midas - MidasDepthEstimationExample<br>
- depth_estimation_dpt_sdks<br>
- DPT - DptDepthEstimationExample<br>
- 通过提取原始图片中的深度信息,生成具有原图同样深度结构的深度图,越白的越靠前,越黑的越靠后。<br>
- 通过提取原始图片中的深度信息,<br>生成具有原图同样深度结构的深度图,<br>越白的越靠前,越黑的越靠后。<br>
- 对应ControlNet模型 control_depth。
</div>
</td>
@ -1117,7 +1134,7 @@
<p>8. Normal Map 法线贴图</p>
- normal_bae_sdk<br>
- NormalBaeExample<br>
- 根据图片生成法线贴图适合CG或游戏美术师。法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图便于AI给图片内容进行更好的光影处理它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多常用于贴在低模上模拟高模的复杂光影效果。<br>
- 根据图片生成法线贴图适合CG或游戏美术师。<br>法线贴图能根据原始素材生成<br>一张记录凹凸信息的法线贴图,<br>便于AI给图片内容进行更好的光影处理<br>它比深度模型对于细节的保留更加的精确。<br>法线贴图在游戏制作领域用的较多,<br>常用于贴在低模上模拟高模的复杂光影效果。<br>
- 对应ControlNet模型 control_normal。
</div>
</td>
@ -1133,7 +1150,7 @@
<p>9. Lineart 生成线稿</p>
- lineart_sdk<br>
- lineart_coarse_sdk<br>
- Lineart 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,用于生成线稿。
- Lineart 边缘检测预处理器可很好识别出<br>图像内各对象的边缘轮廓,用于生成线稿。<br>
- 对应ControlNet模型 control_lineart。
</div>
</td>
@ -1149,7 +1166,7 @@
<p>10. Lineart Anime 生成线稿</p>
- lineart_anime_sdk<br>
- LineArtAnimeExample<br>
- Lineart Anime 边缘检测预处理器可很好识别出卡通图像内各对象的边缘轮廓,用于生成线稿。<br>
- Lineart Anime 边缘检测预处理器<br>可很好识别出卡通图像内<br>各对象的边缘轮廓,用于生成线稿。<br>
- 对应ControlNet模型 control_lineart_anime。
</div>
</td>
@ -1165,7 +1182,7 @@
<p>11. Content Shuffle</p>
- content_shuffle_sdk<br>
- ContentShuffleExample<br>
- Content Shuffle 图片内容变换位置,打乱次序,配合模型 control_v11e_sd15_shuffle 使用。<br>
- Content Shuffle 图片内容变换位置,<br>打乱次序,配合模型 <br>control_v11e_sd15_shuffle 使用。<br>
- 对应ControlNet模型 control_shuffle。
</div>
</td>
@ -1184,7 +1201,7 @@
<tr>
<td>
<div align="left">
<p>1. 文生图:输入提示词(仅支持英文),生成图片(仅支持英文)</p>
<p>1. 文生图:输入提示词(仅支持英文),<br>生成图片(仅支持英文)</p>
- txt2image_sdk<br>
</div>
</td>
@ -1197,7 +1214,7 @@
<tr>
<td>
<div align="left">
<p>2. 图生图:根据图片及提示词(仅支持英文)生成图片</p>
<p>2. 图生图:根据图片及提示词<br>(仅支持英文)生成图片</p>
- image2image_sdk<br>
</div>
</td>
@ -1223,9 +1240,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.1. Canny 边缘检测</p>
<p>4. Controlnet 图像生成<br>-4.1. Canny 边缘检测</p>
- controlnet_canny_sdk<br>
- Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,常用于生成线稿。<br>
- Canny 边缘检测预处理器可<br>很好识别出图像内各对象<br>的边缘轮廓,常用于生成线稿。<br>
</div>
</td>
<td>
@ -1237,9 +1254,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.2. MLSD 线条检测</p>
<p>4. Controlnet 图像生成<br>-4.2. MLSD 线条检测</p>
- controlnet_mlsd_sdk<br>
- MLSD 线条检测用于生成房间、直线条的建筑场景效果比较好。<br>
- MLSD 线条检测用于生成房间、<br>直线条的建筑场景效果比较好。<br>
</div>
</td>
<td>
@ -1251,23 +1268,23 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.3. Scribble 涂鸦</p>
<p>4. Controlnet 图像生成<br>-4.3. Scribble 涂鸦</p>
- controlnet_scribble_sdk<br>
- 不用自己画,图片自动生成类似涂鸦效果的草图线条。<br>
- 图片自动生成类似涂鸦效果的草图线条。<br>
</div>
</td>
<td>
<div align="center">
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/scribble_sd.pngs" width = "400px"/>
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/scribble_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.4. SoftEdge 边缘检测</p>
<p>4. Controlnet 图像生成<br>-4.4. SoftEdge 边缘检测</p>
- controlnet_softedge_sdk<br>
- SoftEdge 边缘检测可保留更多柔和的边缘细节,类似手绘效果。<br>
- SoftEdge 边缘检测可保留更多<br>柔和的边缘细节,类似手绘效果。<br>
</div>
</td>
<td>
@ -1279,9 +1296,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.5. OpenPose 姿态检测</p>
<p>4. Controlnet 图像生成<br>-4.5. OpenPose 姿态检测</p>
- controlnet_pose_sdk<br>
- OpenPose 姿态检测可生成图像中角色动作姿态的骨架图(含脸部特征以及手部骨架检测),这个骨架图可用于控制生成角色的姿态动作。
- OpenPose 姿态检测可生成图像<br>中角色动作姿态的骨架图<br>(含脸部特征以及手部骨架检测)<br>,这个骨架图可用于控制生成角色的姿态动作。
</div>
</td>
<td>
@ -1293,9 +1310,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.6. Segmentation 语义分割</p>
<p>4. Controlnet 图像生成<br>-4.6. Segmentation 语义分割</p>
- controlnet_seg_sdk<br>
- 语义分割可多通道应用原理是用颜色把不同类型的对象分割开让AI能正确识别对象类型和需求生成的区界。
- 语义分割可多通道应用,<br>原理是用颜色把不同类型的对象分割开,<br>让AI能正确识别对象类型和需求生成的区界。
</div>
</td>
<td>
@ -1307,9 +1324,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.7. Depth 深度检测</p>
<p>4. Controlnet 图像生成<br>-4.7. Depth 深度检测</p>
- controlnet_depth_sdk<br>
- 通过提取原始图片中的深度信息,生成具有原图同样深度结构的深度图,越白的越靠前,越黑的越靠后。
- 通过提取原始图片中的深度信息,<br>生成具有原图同样深度结构的深度图,<br>越白的越靠前,越黑的越靠后。
</div>
</td>
<td>
@ -1321,9 +1338,9 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.8. Normal Map 法线贴图</p>
<p>4. Controlnet 图像生成<br>-4.8. Normal Map 法线贴图</p>
- controlnet_normal_sdk<br>
- 根据图片生成法线贴图适合CG或游戏美术师。法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图便于AI给图片内容进行更好的光影处理它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多常用于贴在低模上模拟高模的复杂光影效果。
- 根据图片生成法线贴图,<br>适合CG或游戏美术师。<br>法线贴图能根据原始素材生成<br>一张记录凹凸信息的法线贴图,<br>便于AI给图片内容进行更好的光影处理<br>它比深度模型对于细节的保留更加的精确。<br>法线贴图在游戏制作领域用的较多,<br>常用于贴在低模上模拟高模的复杂光影效果。
</div>
</td>
<td>
@ -1335,10 +1352,10 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.9. Lineart 生成线稿</p>
<p>4. Controlnet 图像生成<br>-4.9. Lineart 生成线稿</p>
- controlnet_lineart_sdk<br>
- controlnet_lineart_coarse_sdk<br>
- Lineart 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓,用于生成线稿。
- Lineart 边缘检测预处理器可很好识别出<br>图像内各对象的边缘轮廓,用于生成线稿。
</div>
</td>
<td>
@ -1350,23 +1367,23 @@
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.10. Lineart Anime 生成线稿</p>
<p>4. Controlnet 图像生成<br>-4.10. Lineart Anime 生成线稿</p>
- controlnet_lineart_anime_sdk<br>
- 通过提取原始图片中的深度信息,生成具有原图同样深度结构的深度图,越白的越靠前,越黑的越靠后
- Lineart Anime <br>边缘检测预处理器可很好<br>识别出卡通图像内各对象的边缘轮廓,<br>用于生成线稿
</div>
</td>
<td>
<div align="center">
<img src="Lineart Anime 边缘检测预处理器可很好识别出卡通图像内各对象的边缘轮廓,用于生成线稿。" width = "400px"/>
<img src="https://aias-home.oss-cn-beijing.aliyuncs.com/AIAS/9_aigc/images/lineart_anime_sd.png" width = "400px"/>
</div>
</td>
</tr>
<tr>
<td>
<div align="left">
<p>4. Controlnet 图像生成-4.11. Content Shuffle</p>
<p>4. Controlnet 图像生成<br>-4.11. Content Shuffle</p>
- controlnet_shuffle_sdk<br>
- Content Shuffle 图片内容变换位置,打乱次序,配合模型 control_v11e_sd15_shuffle 使用。
- Content Shuffle 图片内容变换位置,<br>打乱次序,配合模型 <br>control_v11e_sd15_shuffle 使用。
</div>
</td>
<td>
@ -1378,6 +1395,7 @@
</table>
</div>
- 8 8_desktop_app - [桌面App]
```text
1). 大模型离线桌面App
@ -1436,23 +1454,13 @@
</table>
</div>
#### archive - [废弃不再维护的项目]
- 9 archive - [废弃不再维护的项目]
#### 1. 官网:
- 网址http://www.aias.top/
- 帮助https://aias.top/guides.html
#### 2. 开源地址:
- Gitee: https://gitee.com/mymagicpower/AIAS
- GitHub: https://github.com/mymagicpower/AIAS
#### 3. 人工智能算法:
- https://zhuanlan.zhihu.com/p/693738275
#### 4. 其它研究专题:
### 其它研究专题:
#### 1). AI + 量子计算
<div align="left">