告别云担忧：手把手教你本地部署AI大模型

[Peter267]

前言

当我们想跟AI对话时，把一些文件发送到云端可能会不安全，这时候，就需要本地部署了。本地部署指的是AI会调用电脑本地的算力进行计算，所以，电脑的性能不可以太差。下面是本地部署大模型的教程。

Important

请务必看完全文后再进行操作
[!IMPORTANT]
本教程使用Win10，如果您是Mac用户，请参考Mac本地部署教程

教程

准备

下载Ollama,进入主页点击Download，选择自己的操作系统，点击下载

Note

您无需点击下方的注册按钮

下载大模型

1.下载完成后点击Win+R，“打开”栏输入cmd，回车
2.打开 Ollama官网，点击右上角的 Search models，输入你想下载的开源模型名称。找到模型后，复制页面中提供的下载命令到CMD窗口，回车开始下载。

Warning

每个模型的代码不一样，上图使用Qwen2-72b演示，请根据电脑性能选择下载的模型。一般来说，7b左右的模型适合大部分的电脑，我2016年的显卡都带的动。72b左右的模型则需要强大性能的电脑，它的安装包就足有40GB！

Tip

建议选择qwen2，因为它是迄今为止最强大的开源大模型，具体可以看🤗 Open LLM Leaderboard，您也可以选择自己喜欢的大模型，方法相同

使用大模型

完成下载后，你将看到类似以下界面，这意味着一切准备就绪！

测试一下

Tip

要再次使用模型，重复上述下载大模型的第1-2步，但这次回车后将启动而不是重新下载模型。请确保Ollama程序正在运行。
由于Ollama位于国外，国内用户可能会遇到下载速度缓慢的问题。为此，我已将下载链接上传至网盘，你可以直接从那里下载，无需注册。
123网盘下载
请忽略下载页的广告，解压缩后下载

其他

什么，界面不好看？下期博客教大家获得更好地UI界面

[Peter267]

使用网盘下载的Ollama可能会被Edge报告为不安全，点击保留即可