这是用户在 2025-2-4 16:29 为 https://blog.csdn.net/u012151594/article/details/142062199 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?

浅谈人工智能之基于ollama的常见变量设置

浅谈人工智能之基于ollama的常见变量设置

全局命令设置

现象:无法直接使用命令ollama

问题显示如下:

[root@localhost LLM]# ollama
-bash: ollama: command not found

解决方法一:

第一步:输入如下命令:

[root@localhost ~]# ln -s /usr/bin/Ollama/bin/ollama /usr/local/bin/ollama

第二步:我们在任意一个位置进行命令验证:

[root@localhost ~]# ollama
Usage:
ollama [flags]
ollama [command]

Available Commands:
serve Start ollama
create Create a model from a Modelfile

上述内容可以知道,我们可以把ollama设置为全局命令。

模型存放路径修改

现象:模型存放路径修改,确保有足够的空间进行模型存储

Windows解决方案:

第一步:右键我的电脑-属性-高级系统设置,点击“高级系统设置”
在这里插入图片描述
第二步:在打开的系统属性界面中点击高级-环境变量
在这里插入图片描述
第三步:在环境变量界面中点击系统变量中的新建按钮
在这里插入图片描述
第四步:在跳出来的新建系统变量界面中,变量名设置为:OLLAMA_MODELS,变量值设置为D:\LLM\OllamaLLM\models,然后点击确定对设置的环境变量进行保存。
在这里插入图片描述
第五步:重新创建模型,可以看到模型在对应的路径下保存
在这里插入图片描述

Linux解决方案:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:

Environment=“OLLAMA_MODELS=/ftp/ollama/models”,完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:重新创建模型,可以看到模型在对应的路径下保存

[root@localhost LLM]# ollama create Qwen2-7b -f /ftp/LLM/Modelfile
[root@localhost LLM]# cd /ftp/ollama/models
[root@localhost models]# ls
blobs manifests

全局地址访问设置

现象:正式地址无法访问

当我们访问ollama地址:http://127.0.0.1:11434/,我们可以得到如下解决
在这里插入图片描述
但是当我们访问本机地址:http://10.31.128.110:11434/
在这里插入图片描述

解决方法:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0”,完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:我们再用IP访问部署ollama地址:
在这里插入图片描述
上述内容操作完成以后,我们就可以通过正式对外的IP地址进行访问。

ollama访问端口设置

现象:地址访问端口为11434

当我们访问ollama地址端口:11434,但是端口为默认端口
在这里插入图片描述
因此我们需要自定义端口

解决方法:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0:9999”,完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0:9999”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:我们再用IP访问部署ollama地址,使用9999端口:
在这里插入图片描述
上述内容操作完成以后,我们就可以通过新的端口和IP地址进行访问。

肉肉爸爸的技术探秘
微信公众号
主要介绍测试相关技术工具分析和AI相关分享
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奔波儿灞爱霸波尔奔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

举报

选择你想要举报的内容(必选)
  • 内容涉黄
  • 政治相关
  • 内容抄袭
  • 涉嫌广告
  • 内容侵权
  • 侮辱谩骂
  • 样式问题
  • 其他