From ad6fe2403ff9d89d0866a46bb5ad6f2a460345da Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=90=B4=E9=AB=98=E5=8D=87?= Date: Thu, 22 Sep 2022 15:20:54 +0800 Subject: [PATCH] Upgrade Neural Search README.md (#3350) --- applications/neural_search/README.md | 256 ++++++++++++++++-- .../{search_system => }/run_system.py | 2 +- .../neural_search/search_system/README.md | 74 ----- 3 files changed, 232 insertions(+), 100 deletions(-) rename applications/neural_search/{search_system => }/run_system.py (98%) delete mode 100644 applications/neural_search/search_system/README.md diff --git a/applications/neural_search/README.md b/applications/neural_search/README.md index 96624597cb69..f74083ee4d99 100644 --- a/applications/neural_search/README.md +++ b/applications/neural_search/README.md @@ -3,8 +3,11 @@ ## 1. 场景概述 检索系统存在于我们日常使用的很多产品中，比如商品搜索系统、学术文献检索系等等，本方案提供了检索系统完整实现。限定场景是用户通过输入检索词 Query，快速在海量数据中查找相似文档。 +
+ +
-所谓语义检索（也称基于向量的检索），是指检索系统不再拘泥于用户 Query 字面本身，而是能精准捕捉到用户 Query 后面的真正意图并以此来搜索，从而更准确地向用户返回最符合的结果。通过使用最先进的语义索引模型找到文本的向量表示，在高维向量空间中对它们进行索引，并度量查询向量与索引文档的相似程度，从而解决了关键词索引带来的缺陷。 +所谓语义检索（也称基于向量的检索，如上图所示），是指检索系统不再拘泥于用户 Query 字面本身，而是能精准捕捉到用户 Query 后面的真正意图并以此来搜索，从而更准确地向用户返回最符合的结果。通过使用最先进的语义索引模型找到文本的向量表示，在高维向量空间中对它们进行索引，并度量查询向量与索引文档的相似程度，从而解决了关键词索引带来的缺陷。 例如下面两组文本 Pair，如果基于关键词去计算相似度，两组的相似度是相同的。而从实际语义上看，第一组相似度高于第二组。 @@ -13,7 +16,7 @@ 车头如何放置车牌 后牌照怎么装 ``` -语义检索系统的关键就在于，采用语义而非关键词方式进行召回，达到更精准、更广泛得召回相似结果的目的。 +语义检索系统的关键就在于，采用语义而非关键词方式进行召回，达到更精准、更广泛得召回相似结果的目的。想快速体验搜索的效果，请参考[Pipelines的实现](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/pipelines) ## 2. 产品功能介绍 @@ -33,8 +36,9 @@ + 兼具无监督数据 和 有监督数据：融合模型 + 进一步优化方案: 面向领域的预训练 Domain-adaptive Pretraining + 性能快 - + 基于 Paddle Inference 快速抽取向量 - + 基于 Milvus 快速查询和高性能建库 + + Paddle Inference 快速抽取向量 + + Milvus 快速查询和高性能建库 + + Paddle Serving服务化部署 ### 2.2 功能架构 @@ -43,9 +47,11 @@ #### 2.2.1 整体介绍 +
+ +
-![系统流程图](./img/system_pipeline.png) -以上是nerual_search的系统流程图，其中左侧为召回环节，核心是语义向量抽取模块；右侧是排序环节，核心是排序模型。图中红色虚线框表示在线计算，黑色虚线框表示离线批量处理。下面我们分别介绍召回中的语义向量抽取模块，以及排序模型。 +以上是nerual_search的系统流程图，其中左侧为召回环节，核心是语义向量抽取模块；右侧是排序环节，核心是排序模型。召回环节需要用户通过自己的语料构建向量索引库，用户发起query了之后，就可以检索出最近的向量，然后找出向量对应的文本；排序环节主要是对召回的文本进行重新排序。下面我们分别介绍召回中的语义向量抽取模块，以及排序模型。 #### 2.2.2 召回模块 @@ -78,7 +84,7 @@ **语义索引**：由于我们既有无监督数据，又有有监督数据，所以结合 SimCSE 和 In-batch Negatives 方案，并采取 Domain-adaptive Pretraining 优化模型效果。 -首先是利用 ERNIE 1.0 模型进行 Domain-adaptive Pretraining，在得到的预训练模型基础上，进行无监督的 SimCSE 训练，最后利用 In-batch Negatives 方法进行微调，得到最终的语义索引模型，把建库的文本放入模型中抽取特征向量，然后把抽取后的向量放到语义索引引擎 milvus 中，利用 milvus 就可以很方便得实现召回了。 +首先是利用 ERNIE模型进行 Domain-adaptive Pretraining，在得到的预训练模型基础上，进行无监督的 SimCSE 训练，最后利用 In-batch Negatives 方法进行微调，得到最终的语义索引模型，把建库的文本放入模型中抽取特征向量，然后把抽取后的向量放到语义索引引擎 milvus 中，利用 milvus 就可以很方便得实现召回了。 **排序**：使用 ERNIE-Gram 的单塔结构对召回后的数据精排序。 @@ -94,7 +100,7 @@ * 建库性能和 ANN 查询性能快 -### 3.2 数据说明 +### 3.2 预置数据说明 数据集来源于某文献检索系统，既有大量无监督数据，又有有监督数据。 @@ -116,6 +122,7 @@ 我们将除 Domain-adaptive Pretraining 之外的其他数据集全部开源，下载地址： - [literature_search_data](https://bj.bcebos.com/v1/paddlenlp/data/literature_search_data.zip) +- [literature_search_rank](https://paddlenlp.bj.bcebos.com/applications/literature_search_rank.zip) ``` ├── milvus # milvus建库数据集 @@ -126,13 +133,147 @@ ├── dev.csv # 召回阶段验证集，用于评估召回模型的效果，SimCSE 和 In-batch Negative 共用 ├── corpus.csv # 构建召回库的数据（模拟实际业务线上的语料库，实际语料库远大于这里的规模），用于评估召回阶段模型效果，SimCSE 和 In-batch Negative 共用 ├── test.csv # 召回阶段测试数据，预测文本之间的相似度，SimCSE 和 In-batch Negative 共用 +├── data # RocketQA排序数据集 + ├── test.csv # 测试集 + ├── dev_pairwise.csv # 验证集 + └── train.csv # 训练集 ├── sort # 排序阶段数据集 ├── train_pairwise.csv # 排序训练集 ├── dev_pairwise.csv # 排序验证集 └── test_pairwise.csv # 排序测试集 ``` -### 3.3 运行环境和安装说明 + +### 3.3 数据格式 + +1. 对于无监督SimCSE的训练方法，格式参考`train_unsupervised.csv`,即一行条文本即可，无需任何标注。对于召回模型训练需要规定格式的本地数据集，需要准备训练集文件`train.csv`，验证集`dev.csv`，召回集文件`corpus.csv`。 + + +训练数据集`train.csv`的格式如下： + +``` +query1 \t 用户点击的title1 +query2 \t 用户点击的title2 +``` +训练集合`train.csv`的文件样例： +``` +从《唐律疏义》看唐代封爵贵族的法律特权 从《唐律疏义》看唐代封爵贵族的法律特权《唐律疏义》,封爵贵族,法律特权 +宁夏社区图书馆服务体系布局现状分析 宁夏社区图书馆服务体系布局现状分析社区图书馆,社区图书馆服务,社区图书馆服务体系 +人口老龄化对京津冀经济 京津冀人口老龄化对区域经济增长的影响京津冀,人口老龄化,区域经济增长,固定效应模型 +英语广告中的模糊语 模糊语在英语广告中的应用及其功能模糊语,英语广告,表现形式,语用功能 +甘氨酸二肽的合成 甘氨酸二肽合成中缩合剂的选择甘氨酸,缩合剂,二肽 +...... +``` + +验证集`dev.csv`的格式如下： + +``` +query1 \t 用户点击的title1 +query2 \t 用户点击的title2 +``` + +验证集合`train.csv`的文件样例： +``` +试论我国海岸带经济开发的问题与前景 试论我国海岸带经济开发的问题与前景海岸带,经济开发,问题,前景 +外语阅读焦虑与英语成绩及性别的关系 外语阅读焦虑与英语成绩及性别的关系外语阅读焦虑,外语课堂焦虑,英语成绩,性别 +加油站风险分级管控 加油站工作危害风险分级研究加油站,工作危害分析(JHA),风险分级管控 +``` +召回集合`corpus.csv`主要作用是检验测试集合的句子对能否被正确召回，它的构造主要是提取验证集的第二列的句子，然后加入很多无关的句子，用来检验模型能够正确的从这些文本中找出测试集合对应的第二列的句子，格式如下： + +``` +2002-2017年我国法定传染病发病率和死亡率时间变化趋势传染病,发病率,死亡率,病死率 +陕西省贫困地区城乡青春期少女生长发育调查青春期,生长发育,贫困地区 +五丈岩水库溢洪道加固工程中的新材料应用碳纤维布,粘钢加固技术,超细水泥,灌浆技术 +...... +``` + +2. 对于排序模型的训练，排序模型目前提供了2种，第一种是Pairwise训练的方式，第二种是RocketQA的排序模型，对于第一种排序模型，需要准备训练集`train_pairwise.csv`,验证集`dev_pairwise.csv`两个文件, + +训练数据集`train_pairwise.csv`的格式如下： + +``` +query1 \t 用户点击的title1 \t 用户未点击的title2 +query2 \t 用户点击的title3 \t 用户未点击的title4 +``` + +训练数据集`train_pairwise.csv`的示例如下： + +``` +英语委婉语引起的跨文化交际障碍 英语委婉语引起的跨文化交际障碍及其翻译策略研究英语委婉语,跨文化交际障碍,翻译策略 委婉语在英语和汉语中的文化差异委婉语,文化,跨文化交际 +范迪慧 嘉兴市中医院 滋阴疏肝汤联合八穴隔姜灸治疗肾虚肝郁型卵巢功能低下的临床疗效滋阴疏肝汤,八穴隔姜灸,肾虚肝郁型卵巢功能低下,性脉甾类激素,妊娠 温针灸、中药薰蒸在半月板损伤术后康复中的疗效分析膝损伤,半月板,胫骨,中医康复,温针疗法,薰洗 +...... +``` + +验证数据集`dev_pairwise.csv`的格式如下： + +``` +query1 \t title1 \t label +query2 \t title2 \t label +``` +验证数据集`dev_pairwise.csv`的示例如下： + +``` +作者单位:南州中学 浅谈初中教学管理如何体现人文关怀初中教育,教学管理,人文关怀 1 +作者单位:南州中学 高中美术课堂教学中藏区本土民间艺术的融入路径藏区,传统民间艺术,美术课堂 0 +作者单位:南州中学 列宁关于资产阶级民主革命向 社会主义革命过渡的理论列宁,直接过渡,间接过渡,资产阶级民主革命,社会主义革命 0 +DAA髋关节置换 DAA前侧入路和后外侧入路髋关节置换疗效对比髋关节置换术;直接前侧入路;后外侧入路;髋关节功能;疼痛;并发症 1 +DAA髋关节置换 DAA全髋关节置换术治疗髋关节病变对患者髋关节运动功能的影响直接前侧入路全髋关节置换术,髋关节病变,髋关节运动功能 0 +DAA髋关节置换 护患沟通技巧在急诊输液护理中的应用分析急诊科,输液护理,护理沟通技巧,应用 0 +....... +``` +训练数据集`test_pairwise.csv`的格式如下，其中这个score得分是召回算出来的相似度或者距离，仅供参考，可以忽略： + +``` +query1 \t title1 \t score +query2 \t title2 \t score +``` +训练数据集`test_pairwise.csv`的示例如下： + +``` +中西方语言与文化的差异 中西方文化差异以及语言体现中西方文化,差异,语言体现 0.43203747272491455 +中西方语言与文化的差异 论中西方文化差异在非言语交际中的体现中西方文化,差异,非言语交际 0.4644506871700287 +中西方语言与文化的差异 中西方体态语文化差异跨文化,体态语,非语言交际,差异 0.4917311668395996 +中西方语言与文化的差异 由此便可以发现两种语言以及两种文化的差异。 0.5039259195327759 +....... +``` + +对于第二种基于RocketQA的排序模型。 + +训练数据集`train.csv`,验证集`dev_pairwise.csv`的格式如下： + +``` +query1 \t title1 \t label +query2 \t title2 \t label +``` +训练数据集`train.csv`,验证集`dev_pairwise.csv`的示例如下： + +``` +(小学数学教材比较) 关键词:新加坡 新加坡与中国数学教材的特色比较数学教材,教材比较,问题解决 0 +徐慧新疆肿瘤医院 头颈部非霍奇金淋巴瘤扩散加权成像ADC值与Ki-67表达相关性分析淋巴瘤,非霍奇金,头颈部肿瘤,磁共振成像 1 +抗生素关性腹泻 鼠李糖乳杆菌GG防治消化系统疾病的研究进展鼠李糖乳杆菌,腹泻,功能性胃肠病,肝脏疾病,幽门螺杆菌 0 +德州市图书馆 图书馆智慧化建设与融合创新服务研究图书馆;智慧化;阅读服务;融合创新 1 +维生素c 综述 维生素C防治2型糖尿病研究进展维生素C;2型糖尿病;氧化应激;自由基;抗氧化剂 0 +....... +``` + +训练数据集`test.csv`的格式如下，其中这个score得分是召回算出来的相似度或者距离，仅供参考，可以忽略： + +``` +query1 \t title1 \t score +query2 \t title2 \t score +``` +训练数据集`test.csv`的示例如下： + +``` +加强科研项目管理有效促进医学科研工作 科研项目管理策略科研项目,项目管理,实施,必要性,策略 0.32163668 +加强科研项目管理有效促进医学科研工作 关于推进我院科研发展进程的相关问题研究医院科研,主体,环境,信息化 0.32922596 +加强科研项目管理有效促进医学科研工作 深圳科技计划对高校科研项目资助现状分析与思考基础研究,高校,科技计划,科技创新 0.36869502 +加强科研项目管理有效促进医学科研工作 普通高校科研管理模式的优化与创新普通高校,科研,科研管理 0.3688045 +....... +``` + + +### 3.4 运行环境和安装说明 （1）运行环境 @@ -163,30 +304,78 @@ c. 依赖安装: pip install -r requirements.txt ``` -## 4. 动手实践——搭建自己的检索系统 +## 4. Neural Search 快速体验实践 -这里展示了能够从头至尾跑通的完整代码，您使用自己的业务数据，照着跑，能搭建出一个给定 Query，返回 topK 相关文档的小型检索系统。您可以参照我们给出的效果和性能数据来检查自己的运行过程是否正确。 +PaddleNLP已经基于ERNIE 1.0训练了一个基线模型，如果想快速搭建Neural Search的完整系统。 -### 4.1 召回阶段 +### 4.1. 召回 -**召回模型训练** +- 召回向量抽取服务的搭建请参考：[In-batch Negatives](./recall/in_batch_negative/)， 只需要下载基于ERNIE 1.0的预训练模型，导出成Paddle Serving的格式，然后启动Pipeline Server服务即可 -这里采用 Domain-adaptive Pretraining + SimCSE + In-batch Negatives 方案： +- 召回向量检索服务的搭建请参考：[Milvus](./recall/milvus/)， 需要搭建Milvus并且插入检索数据的向量 -第一步：无监督训练 Domain-adaptive Pretraining +【注意】如果使用Neural Search训练好的模型，由于该模型是基于ERNIE 1.0训练的，所以需要把 `model_name_or_path`指定为`ernie 1.0`，向量抽取结果才能正常。 -训练用时 16hour55min，可参考：[ERNIE 1.0](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0) -第二步：无监督训练 SimCSE +### 4.2. 排序 -训练用时 16hour53min，可参考：[SimCSE](./recall/simcse/) +排序服务的搭建请参考 [ernie_matching](./ranking/ernie_matching/)，只需要下载基于ERNIE Gram的预训练模型，导出成Paddle Serving的格式，最后需要启动 Pipeline Serving服务 -第三步：有监督训练 +【注意】如果使用Neural Search训练好的模型，由于该模型是基于ERNIE Gram训练的，所以需要把 `model_name_or_path`指定为`ernie-gram-zh`，向量抽取结果才能正常。 -几分钟内训练完成，可参考 [In-batch Negatives](./recall/in_batch_negative/) +### 4.3. 系统运行 +以上召回和排序模型都经过Paddle Serving服务化以后，就可以直接使用下面的命令运行体验： -此外，我们进行了多组实践，用来对比说明召回阶段各方案的效果： +``` +python3 run_system.py +``` +输出的结果为： + +``` +PipelineClient::predict pack_data time:1656991375.5521955 +PipelineClient::predict before time:1656991375.5529568 +Extract feature time to cost :0.0161135196685791 seconds +Search milvus time cost is 0.8139839172363281 seconds +PipelineClient::predict pack_data time:1656991376.3981335 +PipelineClient::predict before time:1656991376.3983877 +time to cost :0.05616641044616699 seconds +``` +会输出2个文件 `recall_result.csv` 是召回检索的结果，`rank_result.csv` 是排序的结果。csv的示例输出下。 + +召回的结果： + +``` +中西方语言与文化的差异,港台文化对内地中小学生的负面影响,0.055068351328372955 +中西方语言与文化的差异,外来文化在越南的传播与融合,0.05621318891644478 +中西方语言与文化的差异,临终关怀中的“仪式”,0.05705389380455017 +中西方语言与文化的差异,历史的真实与艺术加工,0.05745899677276611 +...... +``` + +排序的结果： + +``` +中西方语言与文化的差异,论中西方教育差异,0.870943009853363 +中西方语言与文化的差异,浅析中西方问候语的差异,0.8468159437179565 +中西方语言与文化的差异,文化认同及其根源,0.8288694620132446 +中西方语言与文化的差异,从历史文化角度分析中西方学校教育的差异,0.8209370970726013 +中西方语言与文化的差异,中西医思维方式的差异,0.8150948882102966 +中西方语言与文化的差异,浅析中韩餐桌文化差异,0.7751647233963013 +...... +``` + + + +## 5. 从头开始搭建自己的检索系统 + +这里展示了能够从头至尾跑通的完整代码，您使用自己的业务数据，照着跑，能搭建出一个给定 Query，返回 topK 相关文档的小型检索系统。您可以参照我们给出的效果和性能数据来检查自己的运行过程是否正确。 + +### 5.1 召回阶段 + +**召回模型训练** + +我们进行了多组实践，用来对比说明召回阶段各方案的效果： | 模型 | Recall@1 | Recall@5 |Recall@10 |Recall@20 |Recall@50 |策略简要说明| | ------------ | ------------ | ------------ |--------- |--------- |--------- |--------- | @@ -199,6 +388,22 @@ pip install -r requirements.txt 从上述表格可以看出，首先利用 ERNIE 3.0 做 Domain-adaptive Pretraining ，然后把训练好的模型加载到 SimCSE 上进行无监督训练，最后利用 In-batch Negatives 在有监督数据上进行训练能够获得最佳的性能。[模型下载](https://paddlenlp.bj.bcebos.com/models/inbatch_model_best.zip)，模型的使用方式参考[In-batch Negatives](./recall/in_batch_negative/) 。 + +这里采用 Domain-adaptive Pretraining + SimCSE + In-batch Negatives 方案： + +第一步：无监督训练 Domain-adaptive Pretraining + +训练用时 16hour55min，可参考：[ERNIE 1.0](https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-1.0) + +第二步：无监督训练 SimCSE + +训练用时 16hour53min，可参考：[SimCSE](./recall/simcse/) + +第三步：有监督训练 + +几分钟内训练完成，可参考 [In-batch Negatives](./recall/in_batch_negative/) + + **召回系统搭建** 召回系统使用索引引擎 Milvus，可参考 [milvus_system](./recall/milvus/)。 @@ -233,18 +438,19 @@ pip install -r requirements.txt ``` -### 4.2 排序阶段 +### 5.2 排序阶段 -排序阶段使用的模型是 ERNIE-3.0-Medium-zh，用时 20h，可参考： +排序阶段有2种方案，第一种是[ernie_matching](./ranking/ernie_matching/)使用的模型是 ERNIE-3.0-Medium-zh，用时 20h；第二种是基于RocketQA的排序模型[cross_encoder](./ranking/cross_encoder/)，训练用时也是20h左右。 -[ernie_matching](./ranking/ernie_matching/) 排序阶段的效果评估： | 模型 | AUC | | ------------ | ------------ | | Baseline: In-batch Negatives | 0.582 | -| ERNIE-Gram | 0.801 | +| pairwise ERNIE-Gram |0.801 | +| CrossEncoder：rocketqa-base-cross-encoder |**0.835** | + 同样输入文本： diff --git a/applications/neural_search/search_system/run_system.py b/applications/neural_search/run_system.py similarity index 98% rename from applications/neural_search/search_system/run_system.py rename to applications/neural_search/run_system.py index 7f0e3328f843..7fb980eafb32 100644 --- a/applications/neural_search/search_system/run_system.py +++ b/applications/neural_search/run_system.py @@ -19,7 +19,7 @@ import random import time -sys.path.append('../recall/milvus') +sys.path.append('./recall/milvus') import numpy as np import pandas as pd from tqdm import tqdm diff --git a/applications/neural_search/search_system/README.md b/applications/neural_search/search_system/README.md deleted file mode 100644 index a9bc7b37242b..000000000000 --- a/applications/neural_search/search_system/README.md +++ /dev/null @@ -1,74 +0,0 @@ - **目录** - -* [介绍](#背景介绍) -* [检索系统](#检索系统) - * [1. 召回](#召回服务) - * [2. 排序](#排序服务) - * [3. 系统运行](#系统运行) - - - - -# 介绍 - -使用召回模型和排序模型搭建一个完整的搜索流程 - - -# 检索系统 - - - -## 1. 召回 - -- 召回向量抽取服务的搭建请参考：[In-batch Negatives](../recall/in_batch_negative/)， 需要启动Pipeline Server服务 - -- 召回向量检索服务的搭建请参考：[Milvus](../recall/milvus/)， 需要搭建Milvus并且插入检索数据的向量 - - - -## 2. 排序 - -排序服务的搭建请参考 [ernie_matching](../ranking/ernie_matching/)，同样的需要启动 Pipeline Serving服务 - - - - -## 3. 系统运行 - -``` -python3 run_system.py -``` -输出的结果为： - -``` -PipelineClient::predict pack_data time:1656991375.5521955 -PipelineClient::predict before time:1656991375.5529568 -Extract feature time to cost :0.0161135196685791 seconds -Search milvus time cost is 0.8139839172363281 seconds -PipelineClient::predict pack_data time:1656991376.3981335 -PipelineClient::predict before time:1656991376.3983877 -time to cost :0.05616641044616699 seconds -``` -会输出2个文件 `recall_result.csv` 是召回检索的结果，`rank_result.csv` 是排序的结果。csv的示例输出下。 - -召回的结果： - -``` -中西方语言与文化的差异,港台文化对内地中小学生的负面影响,0.055068351328372955 -中西方语言与文化的差异,外来文化在越南的传播与融合,0.05621318891644478 -中西方语言与文化的差异,临终关怀中的“仪式”,0.05705389380455017 -中西方语言与文化的差异,历史的真实与艺术加工,0.05745899677276611 -...... -``` - -排序的结果： - -``` -中西方语言与文化的差异,论中西方教育差异,0.870943009853363 -中西方语言与文化的差异,浅析中西方问候语的差异,0.8468159437179565 -中西方语言与文化的差异,文化认同及其根源,0.8288694620132446 -中西方语言与文化的差异,从历史文化角度分析中西方学校教育的差异,0.8209370970726013 -中西方语言与文化的差异,中西医思维方式的差异,0.8150948882102966 -中西方语言与文化的差异,浅析中韩餐桌文化差异,0.7751647233963013 -...... -```