在线安装
在线安装Ollama非常简单,只需访问https://ollama.com/download,选择适合您的服务器系统,然后按照步骤完成安装即可。
离线安装
首先,您需要查看服务器的CPU型号。使用以下命令可以查看Linux系统的CPU型号:
## 查看Linux系统CPU型号命令,我的服务器cpu型号是x86_64lscpu

根据CPU型号从以下地址下载Ollama安装包:
https://www.php.cn/link/f220707c3afe39d1779e0a34af72bb7f
# x86_64 CPU选择下载ollama-linux-amd64# aarch64|arm64 CPU选择下载ollama-linux-arm

接下来,您需要下载Linux环境的Ollama安装脚本。可以通过以下地址下载:
## 下载地址1,浏览器中打开下面地址https://ollama.com/install.sh## 下载地址2https://github.com/ollama/ollama/blob/main/scripts/install.sh
修改install.sh脚本时,需要注意两个关键点:Ollama下载地址和Ollama安装包存放目录。
首先,注释掉下载链接:
status "Downloading ollama..."## 在install.sh的第65行#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
然后,修改ollama安装目录:
status "Installing ollama to $BINDIR..."## 在install.sh的第73行#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64 $BINDIR/ollama
运行install.sh脚本进行安装:
# 执行installl.sh脚本,需要sudo 权限chmod +x install.sh./install.sh# 如果报错误权限不足,执行chmod +x install.sh
运行大模型,如通义千问:
# 需要先将大模型下载到OLLAMA_MODELS文件中# ollama runollama run qwen2:7b
关闭Ollama服务:
# 关闭ollama服务service ollama stop
Ollama常用命令:
## 启动Ollama服务ollama serve## 从模型文件创建模型ollama create## 显示模型信息ollama show## 运行模型ollama run 模型名称## 从注册表中拉去模型ollama pull 模型名称## 将模型推送到注册表ollama push## 列出模型ollama list## 复制模型ollama cp## 删除模型ollama rm 模型名称## 获取有关Ollama任何命令的帮助信息ollama help
FAQ
如何查看运行的日志?
在Linux上运行命令journalctl -u ollama,即可查看运行日志。
如何配置本地大模型对局域网提供服务?
在Linux上修改配置文件,并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址,再重启Ollama服务即可。
vim /etc/systemd/system/ollama.service在[Service]下面加上:Environment="OLLAMA_HOST=0.0.0.0:11434"
重启后,就可以通过http在局域网中访问了。
下载的大模型存储在哪个路径?
默认情况下,不同操作系统存储的路径如下:
macOS: ~/.ollama/modelsLinux: /usr/share/ollama/.ollama/modelsWindows: C:Users.ollamamodels
本文由 小马哥 创作,采用 知识共享署名4.0 国际许可协议进行许可。本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名。
以上就是Linux内网离线安装Ollama的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/8928.html
微信扫一扫
支付宝扫一扫