videochat2部署问题

[zhanghang-official]

videochat2这种多模态有什么办法使用vllm部署，vllm现在好像不支持embedding输入

[Andy1621]

请查看我们的vllm分支，写了支持的代码

[zhanghang-official]

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。
vllm分支中的vllm文件夹通过对比应该是与
https://github.com/pfldy2850/vllm/tree/feature-input-embeds
一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。
所以vllm_test.py中的vllm用的是
https://github.com/pfldy2850/vllm/tree/feature-input-embeds
的库吗？

[Aurorana]

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

我们的实现是基于官方v0.2.4的版本，并在部分地方进行了修改。请根据我们仓库vllm分支的vllm文件夹，从源码编译vllm库。

[zhanghang-official]

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

我们的实现是基于官方v0.2.4的版本，并在部分地方进行了修改。请根据我们仓库vllm分支的vllm文件夹，从源码编译vllm库。

感谢回复，后续有计划在v0.5新版本上修改吗