Replies: 2 comments 3 replies
-
|
@AllentDan any clue? |
Beta Was this translation helpful? Give feedback.
-
|
解决方法就是用 |
Beta Was this translation helpful? Give feedback.
-
|
你们文档里面没有这个接口的使用方法，作为开发者来说是不知道的，建议更新接口文档 |
Beta Was this translation helpful? Give feedback.
-
|
pipline()接口返回的是AsyncEngine实例。 |
Beta Was this translation helpful? Give feedback.
-
|
嗯嗯，再结合你们api_server.py这个里面的示例，问题已经解决了。不过还是建议你们更新下文档哈，推理用lmploy加速，外面再套一个fastapi是业界常用的业务上线流程，所以肯定不少人都会遇到这个问题，完善这部分文档对开发者使用，和你们推广都有极大地好处 |
Beta Was this translation helpful? Give feedback.
-
我这边自己搭的fastapi，流式调用stream_infer接口的时候会遇到问题。因为stream_infer内部是把主线程的event_loop送进子线程再调用generate函数，但是在这之前fastapi已经开始run event_loop了，所以会报一个This event loop is already running的错误
这个时候即使用nest_asyncio的方法，但是两个线程公用一个event_loop也还是会报错。
有什么比较好的解决办法吗？
Beta Was this translation helpful? Give feedback.
All reactions