- 1. 当前优化模型最主要技术手段有哪些？
- 2. 推理加速框架有哪一些？都有什么特点？
- 3 vLLM 篇
- 3.1 vLLM 的 功能有哪些？
- 3.2 vLLM 的 优点有哪些？
- 3.3 vLLM 的 缺点有哪些？
- 3.4 vLLM 离线批量推理？
- 3.5 vLLM API Server？
- 4 Text generation inference 篇
- 4.1 介绍一下 Text generation inference？
- 4.2 Text generation inference 的 功能有哪些？
- 4.3 Text generation inference 的 优点有哪些？
- 4.4 Text generation inference 的 缺点有哪些？
- 4.5 Text generation inference 的 使用docker运行web server？