From 885740a039b1b522e2f50bf9c87fd2cf6eabe462 Mon Sep 17 00:00:00 2001 From: userpj Date: Thu, 7 Nov 2024 17:11:17 +0800 Subject: [PATCH] update docs --- CONTRIBUTING.md | 2 +- README.md | 34 ++++++++++++++++----------------- python/tests/run_python_test.sh | 8 ++++---- 3 files changed, 22 insertions(+), 22 deletions(-) diff --git a/CONTRIBUTING.md b/CONTRIBUTING.md index 9f34fe673..f1e7a9ecc 100644 --- a/CONTRIBUTING.md +++ b/CONTRIBUTING.md @@ -64,7 +64,7 @@ and add/update `.vscode/settings.json` file with the following content: "python.testing.unittestArgs": [ "-v", "-s", - "./appbuilder", + "./python", "-p", "test*.py" ], diff --git a/README.md b/README.md index 2c51dcf69..7ef636aeb 100644 --- a/README.md +++ b/README.md @@ -51,23 +51,23 @@ AppBuilder-SDK不仅提供了百度智能云提供的基础能力组件，同时 | 阶段 |组件名称 | 组件类型 |组件链接 | |--------|--------|--------|---| -| 文档解析 | 文档矫正增强 (DocCropEnhance) | 基础能力组件 | [链接](./appbuilder/core/components/doc_crop_enhance/README.md) | -| 文档解析 | 文档格式转换 (DocFormatConverter) | 基础能力组件 | [链接](./appbuilder/core/components/doc_format_converter/README.md)| -| 文档解析 | 文档解析（DocParser）| 基础能力组件 | [链接](./appbuilder/core/components/doc_parser/README.md) | -| 文档解析 | 表格抽取组件（ExtractTableFromDoc）| 基础能力组件 | [链接](./appbuilder/core/components/extract_table/README.md) | -| 文档解析 | 通用文字识别-高精度版（GeneralOCR）| 基础能力组件 | [链接](./appbuilder/core/components/general_ocr/README.md) | -| 文档切片 | 文档切分（DocSplitter）| 基础能力组件 | [链接](./appbuilder/core/components/doc_splitter/README.md) | -| 切片向量化 | 向量计算（Embedding） | 基础能力组件 | [链接](./appbuilder/core/components/embeddings/README.md) | -| 索引构建及切片召回 | 向量检索-VectorDB（BaiduVectorDBRetriever） | 基础能力组件 | [链接](./appbuilder/core/components/retriever/baidu_vdb/README.md) | -| 索引构建及切片召回 | 向量检索-BES（BaiduElasticSearchRetriever） | 基础能力组件 | [链接](./appbuilder/core/components/retriever/bes/README.md) | -| 文档切片及答案生成 | 问答对挖掘（QAPairMining）| 高级能力组件 | [链接](./appbuilder/core/components/llms/qa_pair_mining/README.md) | -| 文档切片及答案生成 | 相似问生成（SimilarQuestion）| 高级能力组件 | [链接](./appbuilder/core/components/llms/similar_question/README.md) | -| 答案生成| 标签抽取（TagExtraction）| 高级能力组件 | [链接](./appbuilder/core/components/llms/tag_extraction/README.md) | -| 答案生成 | 复杂Query判定（IsComplexQuery）| 高级能力组件 | [链接](./appbuilder/core/components/llms/is_complex_query/README.md) | -| 答案生成 | 复杂Query分解（QueryDecomposition）| 高级能力组件 | [链接](./appbuilder/core/components/llms/query_decomposition/README.md) | -| 答案生成 | 多轮改写 (QueryRewrite)| 高级能力组件 | [链接](./appbuilder/core/components/llms/query_rewrite/README.md) | -| 答案生成 | 阅读理解问答（MRC）| 高级能力组件 | [链接](./appbuilder/core/components/llms/mrc/README.md) | -| 答案生成 | 幻觉检测（Hallucination Detection）| 高级能力组件 | [链接](./appbuilder/core/components/llms/hallucination_detection/README.md) | +| 文档解析 | 文档矫正增强 (DocCropEnhance) | 基础能力组件 | [链接](./python/core/components/doc_crop_enhance/README.md) | +| 文档解析 | 文档格式转换 (DocFormatConverter) | 基础能力组件 | [链接](./python/core/components/doc_format_converter/README.md)| +| 文档解析 | 文档解析（DocParser）| 基础能力组件 | [链接](./python/core/components/doc_parser/README.md) | +| 文档解析 | 表格抽取组件（ExtractTableFromDoc）| 基础能力组件 | [链接](./python/core/components/extract_table/README.md) | +| 文档解析 | 通用文字识别-高精度版（GeneralOCR）| 基础能力组件 | [链接](./python/core/components/general_ocr/README.md) | +| 文档切片 | 文档切分（DocSplitter）| 基础能力组件 | [链接](./python/core/components/doc_splitter/README.md) | +| 切片向量化 | 向量计算（Embedding） | 基础能力组件 | [链接](./python/core/components/embeddings/README.md) | +| 索引构建及切片召回 | 向量检索-VectorDB（BaiduVectorDBRetriever） | 基础能力组件 | [链接](./python/core/components/retriever/baidu_vdb/README.md) | +| 索引构建及切片召回 | 向量检索-BES（BaiduElasticSearchRetriever） | 基础能力组件 | [链接](./python/core/components/retriever/bes/README.md) | +| 文档切片及答案生成 | 问答对挖掘（QAPairMining）| 高级能力组件 | [链接](./python/core/components/llms/qa_pair_mining/README.md) | +| 文档切片及答案生成 | 相似问生成（SimilarQuestion）| 高级能力组件 | [链接](./python/core/components/llms/similar_question/README.md) | +| 答案生成| 标签抽取（TagExtraction）| 高级能力组件 | [链接](./python/core/components/llms/tag_extraction/README.md) | +| 答案生成 | 复杂Query判定（IsComplexQuery）| 高级能力组件 | [链接](./python/core/components/llms/is_complex_query/README.md) | +| 答案生成 | 复杂Query分解（QueryDecomposition）| 高级能力组件 | [链接](./python/core/components/llms/query_decomposition/README.md) | +| 答案生成 | 多轮改写 (QueryRewrite)| 高级能力组件 | [链接](./python/core/components/llms/query_rewrite/README.md) | +| 答案生成 | 阅读理解问答（MRC）| 高级能力组件 | [链接](./python/core/components/llms/mrc/README.md) | +| 答案生成 | 幻觉检测（Hallucination Detection）| 高级能力组件 | [链接](./python/core/components/llms/hallucination_detection/README.md) | > 功能预告：在AppBuiler-SDK 1.0.0版本中，AppBuilder-SDK可联动AppBuilder平台，自定义离线与在线处理的能力及Pipeline，构建更加灵活、可沉淀、可复用的产业级`RAG`应用，敬请期待 diff --git a/python/tests/run_python_test.sh b/python/tests/run_python_test.sh index 00f082fc7..cce13512b 100644 --- a/python/tests/run_python_test.sh +++ b/python/tests/run_python_test.sh @@ -57,7 +57,7 @@ python3 -m pip uninstall -y pydantic python3 -m pip install pydantic==2.7.4 python3 -m pip install langchain==0.3.0 python3 -m pip install datamodel-code-generator==0.25.8 -cd appbuilder/tests/ +cd python/tests/ # 5、执行parallel_ut_run.py，运行python单元测试 @@ -66,7 +66,7 @@ python3 parallel_ut_run.py run_result=$? # 6、基于coverage 测试结果计算全量单测覆盖率 -# coverage combine ./appbuilder/tests/ +# coverage combine ./python/tests/ coverage combine coverage xml -o coverage.xml coverage html -d coverage_html @@ -82,8 +82,8 @@ echo "--------------------------" # 替换后 /Users/chengmo/workspace/baidu_code/app-builder/ # 首先获取appbuilder-sdk的python lib的安装目录 python_lib=$(python3 -m pip show appbuilder-sdk | grep Location | awk '{print $2}') -# 再获取git clone的目录, 当前目录为 app-builder/appbuilder/tests, 取 app-builder/目录 -git_dir=$(pwd | sed 's/appbuilder\/tests//') +# 再获取git clone的目录, 当前目录为 app-builder/python/tests, 取 app-builder/目录 +git_dir=$(pwd | sed 's/python\/tests//') # 批量替换coverage.xml文件中的python_lib为git_dir，并将源文件备份一个orignal.xml后缀 python3 -u sed_str.py coverage.xml $python_lib $git_dir # 最后进行增量代码覆盖率测试