Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

建议添加huggingface部署 #3

Open
jsdianman opened this issue Nov 30, 2023 · 18 comments
Open

建议添加huggingface部署 #3

jsdianman opened this issue Nov 30, 2023 · 18 comments

Comments

@jsdianman
Copy link

jsdianman commented Nov 30, 2023 •
edited
Loading

huggingface免费版提供2h16g，dockerfile部署，没有时间限制，免费提供一个域名。自定义域名可以通过iframe或cloudflare worker反代
@VOfficial404
Copy link
Owner

VOfficial404 commented Nov 30, 2023 •
edited
Loading

如果有思路的话欢迎提交pr

@jsdianman
Copy link
Author

有思路了

@jsdianman
Copy link
Author

总是启动失败，太难受了

@VOfficial404
Copy link
Owner

VOfficial404 commented Dec 10, 2023 •
edited
Loading

看看启动错误的log

@VOfficial404
Copy link
Owner

总是启动失败，太难受了

我这边试了试也是总是部署失败，暂时先不研究huggingface了

@jsdianman
Copy link
Author

估计root权限要背锅，发现huggingface在容器启动时没有root权限，只有构建时才有root。如果以run启动jar就没有问题，只是不能访问halo。现在唯一的思路就是用QEMU创建一个虚拟机，在虚拟机里启动halo。但是没有kvm，性能大减

@jsdianman
Copy link
Author

缺点就是不支持KVM，只能使用速度较慢的TCG模式

@VOfficial404
Copy link
Owner

缺点就是不支持KVM，只能使用速度较慢的TCG模式

听起来似乎是一种解决办法，你可以试一下吗

@VOfficial404 VOfficial404 reopened this Dec 20, 2023
@jsdianman
Copy link
Author

有空我将会尝试

@jsdianman
Copy link
Author

最近有点忙

@VOfficial404
Copy link
Owner

最近有点忙

一样，最近忙别的我也没怎么看项目😂

@VOfficial404
Copy link
Owner

有空我将会尝试

有空我将会尝试

我有了个新思路，这几天会提交到Dev分支测试一下

@jsdianman
Copy link
Author

太慢了，qemu就不搞了，proot会是一个选择吗

@VOfficial404
Copy link
Owner

太慢了，qemu就不搞了，proot会是一个选择吗

我的思路暂时是使用debian的docker镜像运行Jar，Dockerfile运行端口暴露为halo的默认运行端口8090，理论上应该可行

@jsdianman
Copy link
Author

太慢了，qemu就不搞了，proot会是一个选择吗

我的思路暂时是使用debian的docker镜像运行Jar，Dockerfile运行端口暴露为halo的默认运行端口8090，理论上应该可行

我最开始是这么想的，可是，只要用CMD启动就报错，而RUN则没有这个问题。所以才会怀疑是没有root权限导致的。huggingface在容器启动后就没有root了。

@jsdianman
Copy link
Author

我试过halo仓库的dockerfile，和直接jar运行的结果是一样的。

@VOfficial404
Copy link
Owner

我试过halo仓库的dockerfile，和直接jar运行的结果是一样的。

那么我们换一种思路，创建一个lxc Debian示例并在其中运行halo，这样子可能会快一点

@VOfficial404
Copy link
Owner

我试过halo仓库的dockerfile，和直接jar运行的结果是一样的。

lxc搞起来有点麻烦……我试试proot，应该速度会快上一点点

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@VOfficial404 @jsdianman