deepseek本地部署

Linux

• 首先安装ollama，命令：linux安装ollama
• 运行deepseek模型

ollama run deepseek-r1:32b

• 停止进程：

pkill -f ollama

看gpu占用：

• 实时监控 GPU
  watch -n 1 nvidia-smi

挂载公网

云服务器配置：

• 阿里云官网打开端口运行访问
• 如果有防火墙，放开端口

允许反向代理

sudo nano /etc/ssh/sshd_config

在后面添加：

GatewayPorts yes

重启ssh服务

sudo systemctl restart sshd

ollama部署机器配置

ssh反向代理

autossh -M 0 -fCNR 0.0.0.0:11451:localhost:11434 -o ServerAliveInterval=60 -o StrictHostKeyChecking=no czc@云服务器IP

ollama配置

设置监听所有网络接口

# 临时生效
export OLLAMA_HOST=0.0.0.0
# 或永久生效
echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc && source ~/.bashrc

检查ollama服务端口

ollama status

export OLLAMA_PORT=11451

ollama serve

nano ~/.bashrc

export OLLAMA_PORT=11451

source ~/.bashrc

ollama serve