使用Ollama快速部署本地开源大语言模型
Ollama 是什么
Ollam官网的介绍是：Get up and running with large language models, locally.
也就是可以在自己电脑上运行大模型 AI，实测在 Mac M1 Pro 芯片上运行效果很好，轻量服务器一类运行效果极差（不推荐）。除非使用 GPU 服务器
安装Ollama
Ollama 可以在 Mac、Windows、Linux 上运行，由于博主只有 Mac 所以下面具体安装以 Mac 为例
图形安装
Ollama 下载 对应系统的Ollama
下载完成后，解压这个 zip 文件即可得到 Ollama 的应用程序
这里直接点下一步就好
接下来需要安装 Ollama 的命令行工具 点击Install
命令安装（推荐）
Mac的命令安装需要使用homebrew包管理工具 安装homebrew参考
安装好后执行下面命令安装ollama
brew install ollama |
启动ollama
ollama serve |
查看其他命令
ollama |
使用及下载模型
图形安装的话需要先打开ollama软件，命令安装的话需要先运行ollama serve 图形和命令安装都在终端下载模型 模型列表
如果你执行这个命令遇到了以下报错，说明你的服务端还没有启动：
ollama run mistral |
下面以gemma模型为例 点进去查看详情
复制命令到终端执行
安装完成之后默认是运行的 直接输入问题就行
图形化问答界面
可能你会觉得在终端问答不方便，不好看 这里可以选择本地安装图形化界面的方式进行问答
被我压缩图片都变灰了🌚
下面安装步骤前一定要先运行起 ollama
安装
项目地址 open-webui 安装在本地需要使用Docker,由于Docker在Mac上太大了，所以下面使用OrbStack带代替安装Docker
终端运行命令拉取open-webui 这里需要开启全局代理 否则拉取会失败
docker pull ghcr.io/open-webui/open-webui:main |
拉取成功后执行 下面命令
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
成功之后浏览器输入 http://localhost:8080/ 打开open-webui 注册一个账号
登录成功后选择自己需要使用的模型
最后就可以正常使用了！
