File tree 1 file changed +6
-5
lines changed
1 file changed +6
-5
lines changed Original file line number Diff line number Diff line change 7
7
3 . 支持了** vllm** 、** LMDeploy** 和** hf** 的加载方式
8
8
4 . 支持所有兼容sentence_transformers的语义向量模型(Embedding和Reranker)
9
9
5 . Chat模板支持了** function** 角色,使其完美支持了** LangGraph Agent** 框架
10
- 6 . 支持了** function call (tools )** 能力
10
+ 6 . 支持了** Function Calling (Tools )** 能力
11
11
7 . ** 降低了模型适配的难度和项目使用的难度** (新模型的适配仅需修改低于5行代码),从而更容易的部署自己最新的模型。
12
12
13
13
(仓库初步构建中,构建过程中没有经过完善的回归测试,可能会发生已适配的模型不可用的Bug,欢迎提出改进或者适配模型的建议意见。)
14
14
15
15
<br >
16
16
17
- ## 项目实时进展
17
+ ## 特色
18
18
19
- 已经实现** LMDeploy** 后端,其中包括lmdeploy的Pytorch后端和TurboMind后端。
20
-
21
- LMDeploy TurboMind 引擎拥有卓越的推理能力,在各种规模的模型上,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍。
19
+ 1 . 支持多种推理后端引擎,vLLM和LMDeploy,** LMDeploy** 后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
20
+ 2 . 全球唯一完美支持** Tools(Function Calling)** 功能的开源框架。兼容** LangChain** 的 ** bind_tools** 、** AgentExecutor** 、** with_structured_output** 写法(目前支持Qwen系列、GLM系列)
21
+ 3 . 全球唯一扩展了** openai** 库,实现Reranker模型。(代码样例见gpt_server/tests/test_openai_rerank.py)
22
+ 4 . 与FastChat相同的分布式架构
22
23
23
24
## 更新信息
24
25
You can’t perform that action at this time.
0 commit comments