：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！本文首发于CSDN-东荷新绿！
DeepSeek 本地化部署的必要性可以从多个角度进行阐述，尤其是在数据安全、性能优化、合规性以及定制化需求等方面。
数据安全与隐私保护
- 敏感数据处理：涉及高度敏感的数据不适合通过云端传输或存储在第三方服务器上，如未发表的论文，润色。本地化部署可以确保数据始终保存在用户控制的内部环境中，减少数据泄露的风险。
性能优化与低延迟
- 实时性需求：对于需要实时响应的应用场景，本地化部署可以显著降低网络延迟，确保系统的高效运行。
- 计算资源优化：本地化部署允许用户根据实际需求配置硬件资源，避免云端资源分配不足或过度浪费的问题。
定制化与灵活性
- 个性化需求：不同行业和企业的业务需求差异较大，本地化部署可以根据具体需求进行深度定制，包括模型优化、功能扩展等。
- 技术可控性：本地化部署使用户能够完全掌握系统的运行状态，便于进行故障排查、性能调优和功能升级。
网络与环境的适应性
- 网络条件限制：在一些网络基础设施较差的地区，本地化部署可以避免因网络不稳定导致的系统不可用问题。
- 离线运行能力：本地化部署支持完全离线的运行模式，适用于无法连接互联网的场景。
DeepSeek痛点: 服务器繁忙
DeepSeek官网
- 不管是否深度思考、联网搜索、重新生产均无法解决上述问题，本地化部署成为了一种解决办法。
- 在官网下载符合所使用操作系统的LM Studio 官网：LM Studio
- 选择为我安装和自定义安装位置
- 进入LM Studio，点击右上角跳过
- 点击右下角设置，设置中文语言
- 点击左侧搜索，可在线检索模型
在线检索方式可能会因为网络原因下载失败，因此提供提供两个下载模型的方式，此处以1.5B的DeepSeek为例。
在魔搭社区搜索想要的模型即可，并下载GGUF格式的模型：魔搭社区
GGUF格式是二进制格式，针对模型的快速加载和保存进行了优化，使其在推理方面非常高效。GGUF 被设计用于与 GGML 和其他执行器一起使用。GGUF 由 @ggerganov(llama.cpp 的开发者) 开发 ，是一个流行的 C/C++ LLM 推理框架。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式以用于这些引擎。Hugging Face 解释GGUF格式
在HF-Mirror搜索想要的模型即可，并下载GGUF格式的模型：HF-Mirror
- 在空间富余的盘创建保存模型的文件夹，也是后续LM Studio配置模型的位置
- 其中是两级目录，命名格式随意，下图仅作示例。
- 在对应的文件夹下存放下载的GGUF的模型文件
- 在LM Studio选择上一步创建的文件夹，即最外层的文件夹
- 在LM Studio选择可识别到的模型，即可进行加载和退出
- 在对话框中输入问题即可进行对话，到此基本上大功告成
- 在任务管理器中可查看内存和显存占用，约3G
总结： 为了方便本地化部署并高效进行大模型推理任务，可以按照以下步骤操作：
- 下载和安装：在LM Studio官网下载对应的版本，并选择安装位置或自定义安装点。
- 配置与设置：点击右上角跳过菜单，进入右下角的“设置”，设置语言为中文。并在线搜索目标模型。
- 模型加载与管理：通过搜索结果点击模型即可加载到当前工作目录中，确保模型文件已正确下载并保存。
- 项目配置：
- 在空间富余盘创建存储模型的文件夹，如 deepseek_model。
- 将训练好的模型文件复制到该文件夹下，并设置为当前工作目录。 - 推理与验证：在对话框中输入问题并立即进行对话。输出结果后检查对话历史和内存/显存占用，确保模型加载顺利。
- 不同的配置如何选择不同大小的模型？
- 对话框的提示词如何个性化的定制？
欢迎在评论区解答上述问题，分享你的经验和疑问！
当然，也欢迎一键三连给我鼓励和支持： 点赞 关注 评论。
欲尽善本文，因所视短浅，怎奈所书皆是瞽言蒭议。行文至此，诚向予助与余者致以谢意。
[1] https://www.modelscope.cn/home魔搭社区
[2] https://hugging-face.cn/docs/hub/ggufHugging Face 解释GGUF格式
[3] https://hf-mirror.com/ HF-Mirror
[4] https://lmstudio.ai/LM Studio
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/226131.html