课程项目：大模型推理系统

[YdrMaster]

• 项目导师：PanZezhong1725
• 项目目标
• 评分标准
  • 单人完成，在本讨论下跟帖，提交代码地址以及一份 pdf 项目报告（包含项目都有哪些功能以及使用方式）；
  • 通过指标：实现模型推理和 AI 对话；
  • 评优资格：在项目通过的基础上，完成下列拓展中的至少两项：
    1. 混合精度推理；
    2. 可交互的 UI 或网络服务 API；
    3. 多会话管理以及历史会话回滚；
    4. 多线程分布式推理优化，附加性能对比；
    5. 适配一种加速软件栈后端，Nvidia、AMD、国产芯片或 OpenCL、九源后端均可；
    6. 有其他想法可和导师讨论是否可以作为拓展；

[451846939]

https://github.com/451846939/learning-lm-rs 项目地址，md文件在项目地址中的项目报告中
项目报告.pdf