windows部署ollama
Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计
下载ollama
下载地址(mac、linux、windows):https://ollama.com/download
github 的Releases地址:https://github.com/ollama/ollama/releases
下载可能限速,我选择使用阿里云服务器下载然后再ftp下载到本地
wget https://github.com/ollama/ollama/releases/download/v0.5.8-rc10/OllamaSetup.exe
我下载的版本为v0.5.8-rc10
安装ollama
下载完毕后,直接点击安装(默认安装C盘,确保你的C盘有10G以上的空间)
打开cmd 输入 ollama ,如果有usage提示,那么说明安装成功
如何验证是否安装成功?
ctrl+r 进入cmd
输入
ollama

配置ollama环境变量
这一步是为了确保你以后下载的模型都放在别的地址(因为默认安装到C盘,这里可以将模型下载到别的盘)
配置ollama端口(可选)
默认地址为http://localhost:11434
配置端口 新建一个系统环境变量{OLLAMA_HOST}值为{0.0.0.0:8080}
配置ollama跨域(可选)
选择并下载DeepSeek版本
https://ollama.com/library/deepseek-r1
根据电脑性能选择不同的大小,对应不同的命令。
打开cmd输入命令
这里我选择使用1.5b,所以我的命令为
ollama run deepseek-r1:1.5b

linux部署ollama
直接上命令行
curl -fsSL https://ollama.com/install.sh | sh
接口形式调用DeepSeek-(SpringBoot集成)
对接api文档
ollama已经开放了非常全的api接口了,对于全面私人化定制都是可以支持,详情参照官方文档,我这里只是弄了一个简单的示例。
ollama api文档
https://github.com/ollama/ollama/blob/main/docs/api.md
新建工具类方法
package com.example.springtestdemo.ai.util;
import com.alibaba.fastjson.JSONObject; import lombok.extern.slf4j.Slf4j;
/
- @date 2025-01-15 10:58:46 */ @Slf4j public class OllamaUtil { private static String DOMAIN = "http://localhost:11434/api/generate";
public static String chatDeepSeek(String model, String question) {
String url = DOMAIN; JSONObject body = new JSONObject(); body.put("model", model); body.put("prompt", question); // 关闭流式返回,全部生成完再返回数据 body.put("stream", false); String result = CommonUtil.postJson(url, body.toJSONString()); log.info("【ollama-请求】 结果 {}", result); try ", response); return response; } catch (Exception e) { log.error("【ollama-请求】异常", e); } return "ok";
} }
新建控制器
package com.example.springtestdemo.ai.controller;
import com.example.springtestdemo.ai.QueryParam; import com.example.springtestdemo.ai.util.OllamaUtil; import org.springframework.web.bind.annotation.PostMapping; import org.springframework.web.bind.annotation.RestController;
/
- @date 2025-02-07 14:44:56 */ @RestController public class AiController }
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/271053.html