AIAS/2_nlp_sdks
..
bert_qa_sdk
cross_encoder_en_sdk
embedding
kits
lexical_analysis
llm
porn_detection_sdk
qa_natural_questions_sdk
qa_retrieval_msmarco_s_sdk
semantic_search_publications_sdk
semantic_simnet_bow_sdk
sentiment_analysis
tokenizer_sdk
translation_en_de_sdk
translation_zh_en_sdk
README_CN.md
README.md

项目清单:

  • 2_nlp_sdks - [自然语言 SDK]
  1). 工具箱系列sentencepiecefastTextnpy/npz文件处理等。
  2). 大模型
  3). 词向量
  4). 机器翻译
      ...

fastText - kits/fasttext_sdk

fastText是一个快速文本分类算法。

解析npy/npz文件 - kits/npy_npz_sdk

java读取python numpy保存的npz、npy文件。。

Sentencepiece分词 - kits/sentencepiece_sdk

Sentencepiece分词的Java实现。

jieba分词 - lexical_analysis/jieba_sdk

jieba分词java版本的简化实现。

词法分析SDK [中文] - lexical_analysis/lac_sdk

词法分析模型能整体性地完成中文分词、词性标注、专名识别任务。