Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feature] Ollama SDK Support #9

Open
deepinfect opened this issue Feb 23, 2025 · 3 comments
Open

[Feature] Ollama SDK Support #9

deepinfect opened this issue Feb 23, 2025 · 3 comments
Labels
enhancement New feature or request
Milestone

Comments

@deepinfect
Copy link
Collaborator

  • 通过ollama的sdk来管理和控制本地的ollama客户端,减少用户自行处理的复杂度。
  • 能够探测本地是否有安装ollama。
@deepinfect deepinfect added this to the 0.1.0 milestone Feb 23, 2025
@deepinfect deepinfect added the enhancement New feature or request label Feb 23, 2025
@douyixuan
Copy link
Contributor

通过ollama的sdk来管理和控制本地的ollama客户端,减少用户自行处理的复杂度。

能否细化一下这个 feature,是通过 API 来控制 ollama 客户端吗?控制哪些行为呢?下载模型/启动模型吗?

探测 ollama 的行为在 deepchat 启动时出发吗?还是在 ollama 模型配置页面?

@deepinfect
Copy link
Collaborator Author

通过ollama的sdk来管理和控制本地的ollama客户端,减少用户自行处理的复杂度。

能否细化一下这个 feature,是通过 API 来控制 ollama 客户端吗?控制哪些行为呢?下载模型/启动模型吗?

探测 ollama 的行为在 deepchat 启动时出发吗?还是在 ollama 模型配置页面?

主要目的是,用户一直下一步就能使用ollama。

核心功能:

  1. 检测和自动适配当前机器安装的ollama服务,包括初始化,重新启动,手动检查ollama服务的时候。
  2. 通过api获取ollama的模型服务列表,控制下载模型,开启后台服务。

具体的设计需要开发这个feature同学自己想清楚哈。

@zerob13
Copy link
Collaborator

zerob13 commented Feb 24, 2025

相关SDK在这里 https://github.com/ollama/ollama-js
我的想法是,在welcome的时候(用户第一次初始化)直接探测下本地是否有运行中的 ollama 实例,如果有的话自动配置好并提示已经配置好了你的ollama
第二步是需要在合适的位置(比如设置里面可以考虑单独为Ollama开一个不一样的provider设置页面,一个想法不一定好),增加对于本地ollama的一些控制调用sdk的一些控制接口如:

ollama.pull(request)
ollama.list(request)

来进行对本地的ollama进行管理,相当于我们可以提供一个ollama的管理界面方便用户直接在deepchat里面对本地模型进行管理
以上是一些初步的想法,大家可以进一步讨论细化

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

3 participants