2025年模型部署到服务器什么意思（模型部署到服务器什么意思啊）

科技前沿 • 2025-06-17 09:27 • 阅读 38

大家好，我是讯享网，很高兴认识大家。

优势和缺点

优势：

缺点：

准备

一台电脑，Windows电脑和Mac都可以

关于如何查看显存大小，可以参见本文文末

正式步骤

通过命令查看ollama版本，如果安装成功会显示版本

【llama3】Meta（Facebook的母公司）开发的，目前来看可能是最强的，但是中文支持一般

【phi3】微软开发的，优点是体积小，中文支持也一般

【gemma】谷歌开发的，中文支持也一般

【llama2-Chinese】针对llama2中文优化的版本，是个老版本的语言模型（需要的自己可以搜一下）

【qwen】通义千问，阿里巴巴开发的

注意，同一个模型的参数量可以自定义的，以llama3举例，有70b的和8b两种，70b表示700亿参数量，8b是80亿，同一个模型参数量越大功能越强，但是对你电脑要求越高，70b需要16GB显存，所以默认使用的是8b的版本

点击右边的按钮会自动复制

一般来说如果你正确地安装了Ollama并且在运行状态，且你复制的命令没有错误，它会立刻开始下载，你需要耐心等待一会儿（注意，很奇怪的一点是它会越来越慢，如果实在很慢你可以关掉重新执行一遍就好了，它会接着上次的下载）

安装完成之后会自动进入chat状态，你可以和它对话了！

llama3对话

我这里使用的llama3，它对中文的支持比较一般，如果你想让它用中文回答可以手动告诉他用中文回答

GUI部署

注意，这里需要你会连接上“魔法”，并且可能需要一些开发方面的知识，如果你不想过多研究可以不用往下看了

点击复制命令去终端里运行即可

确保它的状态是Running

设置webUI的语言

选择模型

附1：你可以在任务管理器中查看显存的大小：

注意：老版本的Windows在1处显示的可能是“性能”

附2：注意，Docker和Ollama默认是开机启动的，如果你并没有这样的需求，可以在任务管理器里将它关闭