Skip to content

Commit cea0453

Browse files
committed
fix readme
1 parent 72d86c1 commit cea0453

File tree

1 file changed

+6
-5
lines changed

1 file changed

+6
-5
lines changed

README.md

+6-5
Original file line numberDiff line numberDiff line change
@@ -7,18 +7,19 @@
77
3. 支持了**vllm****LMDeploy****hf**的加载方式
88
4. 支持所有兼容sentence_transformers的语义向量模型(Embedding和Reranker)
99
5. Chat模板支持了**function**角色,使其完美支持了**LangGraph Agent**框架
10-
6. 支持了**function call (tools)** 能力
10+
6. 支持了**Function Calling (Tools)** 能力
1111
7. **降低了模型适配的难度和项目使用的难度**(新模型的适配仅需修改低于5行代码),从而更容易的部署自己最新的模型。
1212

1313
(仓库初步构建中,构建过程中没有经过完善的回归测试,可能会发生已适配的模型不可用的Bug,欢迎提出改进或者适配模型的建议意见。)
1414

1515
<br>
1616

17-
## 项目实时进展
17+
## 特色
1818

19-
已经实现**LMDeploy**后端,其中包括lmdeploy的Pytorch后端和TurboMind后端。
20-
21-
LMDeploy TurboMind 引擎拥有卓越的推理能力,在各种规模的模型上,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍。
19+
1. 支持多种推理后端引擎,vLLM和LMDeploy,**LMDeploy**后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
20+
2. 全球唯一完美支持**Tools(Function Calling)**功能的开源框架。兼容**LangChain****bind_tools****AgentExecutor****with_structured_output**写法(目前支持Qwen系列、GLM系列)
21+
3. 全球唯一扩展了**openai**库,实现Reranker模型。(代码样例见gpt_server/tests/test_openai_rerank.py)
22+
4. 与FastChat相同的分布式架构
2223

2324
## 更新信息
2425

0 commit comments

Comments
 (0)