openai_api_request.py请求超时

[nightISend]

System Info / 系統信息

cuda12.4，python3.10，显卡2060 6G，transformers4.40.0，未安装vllm库

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [1] The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1.python api_server.py
2.python openai_api_request.py

运行openai_api_request.py后显示请求超时
只在api_server.py量化模型，未修改openai_api_request.py文件
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained("D:\ChatGLM3\model\chatglm3-6b", trust_remote_code=True).quantize(4).cuda()

是我gpu不够大导致的吗？

Expected behavior / 期待表现

运行openai_api_request.py后成功返回