fastNLP/README.md

fastNLP

fastNLP 是一款轻量级的 NLP 处理套件。你既可以使用它快速地完成一个序列标注（NER、POS-Tagging等）、中文分词、文本分类、Matching、指代消解、摘要等任务； 也可以使用它构建许多复杂的网络模型，进行科研。它具有如下的特性：

• 统一的Tabular式数据容器，让数据预处理过程简洁明了。内置多种数据集的DataSet Loader，省去预处理代码;
• 多种训练、测试组件，例如训练器Trainer；测试器Tester；以及各种评测metrics等等;
• 各种方便的NLP工具，例如预处理embedding加载（包括EMLo和BERT）; 中间数据cache等;
• 详尽的中文文档、教程以供查阅;
• 提供诸多高级模块，例如Variational LSTM, Transformer, CRF等;
• 在序列标注、中文分词、文本分类、Matching、指代消解、摘要等任务上封装了各种模型可供直接使用; 详细链接
• 便捷且具有扩展性的训练器; 提供多种内置callback函数，方便实验记录、异常捕获等。

安装指南

fastNLP 依赖如下包:

• numpy>=1.14.2
• torch>=1.0.0
• tqdm>=4.28.1
• nltk>=3.4.1
• requests

其中torch的安装可能与操作系统及 CUDA 的版本相关，请参见 PyTorch 官网 。 在依赖包安装完成后，您可以在命令行执行如下指令完成安装

pip install fastNLP

参考资源

• 文档
• 源码

内置组件

大部分用于的 NLP 任务神经网络都可以看做由编码（encoder）、聚合（aggregator）、解码（decoder）三种模块组成。

fastNLP 在 modules 模块中内置了三种模块的诸多组件，可以帮助用户快速搭建自己所需的网络。 三种模块的功能和常见组件如下:

类型	功能	例子
encoder	将输入编码为具有具 有表示能力的向量	embedding, RNN, CNN, transformer
aggregator	从多个向量中聚合信息	self-attention, max-pooling
decoder	将具有某种表示意义的 向量解码为需要的输出 形式	MLP, CRF

完整模型

fastNLP 为不同的 NLP 任务实现了许多完整的模型，它们都经过了训练和测试。

你可以在以下两个地方查看相关信息

• 模型介绍
• 模型源码

项目结构

fastNLP的大致工作流程如上图所示，而项目结构如下：

fastNLP	开源的自然语言处理库
fastNLP.core	实现了核心功能，包括数据处理组件、训练器、测试器等
fastNLP.models	实现了一些完整的神经网络模型
fastNLP.modules	实现了用于搭建神经网络模型的诸多组件
fastNLP.io	实现了读写功能，包括数据读入，模型读写等

---

In memory of @FengZiYjun. May his soul rest in peace. We will miss you very very much!