大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



 
  
    
     
今天给大家分享deepseek的本地部署教程，有需要的朋友可以留言交，可以提供本地部署及服务器资源监控。
 

本教程所用到的ollama软件包+deepseek使用技巧资源包获取方式：

一、部署Ollama（多平台选择安装）

Ollama 支持 Linux/macOS/Windows，需根据系统选择安装方式。

1. Linux 系统部署

适用系统：Ubuntu/Debian/CentOS 等

步骤：

1. 一键安装：

   curl -fsSL https://ollama.com/install.sh | sh 

2. 权限配置（避免 sudo 运行）：

   sudo usermod -aG ollama $USER # 将当前用户加入ollama组 newgrp ollama # 刷新用户组 

3. 启动服务：

   systemctl start ollama # 启动服务 systemctl enable ollama # 开机自启 

4. 验证安装：

   ollama --version # 输出版本号即成功 

2. macOS 系统部署

步骤：

1. 一键安装：

   curl -fsSL https://ollama.com/install.sh | sh 

2. 启动服务：

   ollama serve # 前台运行（调试用） 

• 或通过 Launchd 后台服务：

  brew services start ollama # 通过Homebrew管理 

3. Windows 系统部署

前置要求：

• Windows 10/11 64位
• 已安装 WSL2（推荐Ubuntu发行版）

步骤：

1. 下载安装包：Ollama Windows Installer
2. 下载后进行双击安装
3. 验证安装：

   ollama list # 查看已安装模型 



如何配置远程 Ollama 服务？

默认情况下，Ollama 服务仅在本地运行，不对外提供服务。要使 Ollama 服务能够对外提供服务，你需要设置以下两个环境变量：

如果 Ollama 作为 systemd 服务运行，应使用 systemctl 设置环境变量：

• 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
• 在 [Service] 部分下为每个环境变量添加一行 Environment：

[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*" 

• 重新加载 systemd 并重启 Ollama：

systemctl daemon-reload systemctl restart ollama 

二、拉取并运行DeepSeek模型

官方模型库参考：Ollama DeepSeek-R1 页面

1. 拉取模型

ollama pull deepseek-r1 # 官方推荐模型名称 

• 模型规格选项（按需选择）：

  ollama pull deepseek-r1:7b # 7B参数基础版 ollama pull deepseek-r1:33b # 33B参数进阶版（需更高显存） 

2. 运行模型

ollama run deepseek-r1 

验证交互：

>>> 你好，请用中文回答 你好！我是DeepSeek-R1，很高兴为您提供帮助！ 

三、不同硬件场景配置说明

根据硬件资源选择运行模式：

场景1：纯CPU运行

适用情况：无独立显卡或显存不足

配置优化：

1. 限制线程数（避免资源耗尽）：

   OLLAMA_NUM_THREADS=4 ollama run deepseek-r1 # 限制4线程 

2. 使用量化模型（减少内存占用）：

   ollama pull deepseek-r1:7b-q4_0 # 4-bit量化版 

3. 内存要求：

• 7B模型：至少8GB空闲内存
• 33B模型：至少32GB空闲内存

场景2：CPU+GPU混合运行

适用情况：有NVIDIA显卡（需CUDA支持）

配置步骤：

1. 安装驱动：

• 安装 NVIDIA驱动 和 CUDA Toolkit 12.x

3. 启用GPU加速：

   ollama run deepseek-r1 --gpu # 强制使用GPU 

4. 显存要求：

• 7B模型：至少6GB显存
• 33B模型：至少20GB显存

6. 性能监控：

   nvidia-smi # 查看GPU利用率 

四、AI问答应用接入本地大模型

方式1：部署MaxKB并接入Ollama

1. 通过Docker部署MaxKB

docker run -d --name=maxkb -p 8080:8080 -v ~/maxkb_data:/var/lib/postgresql/data 1panel/maxkb:latest 

• 访问 http://localhost:8080，默认账号密码 admin/MaxKB@123…

2. 配置Ollama模型接入

1. 进入MaxKB控制台：模型管理 > 添加模型
2. 填写参数：

• 模型类型：Ollama
• 模型名称：DeepSeek-r1
• Base URL：http://ollama主机ip:11434（Docker内访问宿主机）
• 模型名称：deepseek-r1（与Ollama拉取的模型名一致）

3. 创建应用并测试问答功能

方式2：本地安装chatBox AI并接入本地大模型

1、下载安装包

1. 访问 GitHub Releases 页面：ChatBox Releases!ChatBox Releases页面
2. 选择 Windows 版本：

2、安装 ChatBox

1. 运行安装程序：

• 双击下载的 .exe 文件，按提示完成安装。

3、基础配置

3.1. 连接 本地模型

1. 确保 Ollama 服务已运行。
2. 在 ChatBox 设置中选择 ollama api，填写：

• API Endpoint: http://localhost:11434
• API Key: 留空
• Model Name: deepseek-r1（与 Ollama 模型名称一致）

3.2 可以自定义界面

3.3 验证使用

五、常用的故障排查方法

1. Ollama服务无法启动

• 日志查看：

  journalctl -u ollama -f # Linux 

• 端口冲突：修改Ollama端口：

  OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口 

2. 模型加载失败

• 重新初始化：

  ollama rm deepseek-r1 && ollama pull deepseek-r1 

3. MaxKB连接超时

• 检查网络：

  curl http://ollama-ip:11434 # 确认Ollama API可达 

• 跨域问题：在Ollama启动时添加：

  OLLAMA_ORIGINS="*" ollama serve 

六、性能优化建议

七、AI服务器性能监控

我使用zabbix+grafana对服务器做了资源使用情况的监控，因为我的服务器没有GPU，全部使用CPU去跑，当我运行大模型的时候，可以看到服务器资源站哟比较高（目前我测试用的的Deepseek-r1:7b）

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴，可以 扫描下方二维码领取↓↓↓

CSDN大礼包：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）

​

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​