开源gpt-oss模型本地部署菜鸟教程

开源gpt-oss模型本地部署菜鸟教程前置条件 我的显卡为 RTX 4000 8G 显存 是不满足官方推荐的 VRAM gt 16G 但最终能跑起来 推理时间略长 但未出席崩溃 1 下载 ollama 1 1 官方推荐的方式 curl fsSL https ollama com install sh sh 1 2 直接用代理 官方提供方式太慢了 下面是代理方式 export OLLAMA MIRROR amp ldquo

大家好,我是讯享网,很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



前置条件:我的显卡为RTX 4000,8G显存,是不满足官方推荐的VRAM>16G,但最终能跑起来。推理时间略长,但未出席崩溃。

1.下载ollama

1.1官方推荐的方式

curl -fsSL ollama.com/install.sh | sh

1.2 直接用代理

官方提供方式太慢了,下面是代理方式

export OLLAMA_MIRROR=“https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download" curl -fsSL https://ollama.com/install.sh | sed ”s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

2.拉取gpt-oss 模型(二选一)

1.1 For 20B(台式机&笔记本)

13个G,要下一会儿,耐心点

GPT plus 代充 只需 145ollama pull gpt-oss:20b

1.2 For 120B(大型服务器)

ollama pull gpt-oss:120b

3.与 gpt-oss 聊天

准备好与模特交谈了吗?您可以在应用程序或终端中启动聊天:

3.1.简易上手

ollama run gpt-oss:20b

这样只能在命令行里对话,毫无体验可言

3.2升级对话

需要开发一个人机交互界面,比如一个网页,这样体验感会好很多。

将下面的python脚本改名为:gpt20.py

运行:streamlit run gpt20.py –server.port 8080

浏览器打开:localhost:8080/

OK:你就看到一个自定义的页面开启装逼模式了,里面的标题都可改,你可以改成狗蛋GPT都也可以。

GPT plus 代充 只需 145import streamlit as st import ollama

st.set_page_config(page_title=“gpt 在线对话”) st.title(“gpt 在线对话”)

初始化历史记录

if “messages” not in st.session_state:

st.session_state.messages = [] 

渲染历史消息

for msg in st.session_state.messages:

GPT plus 代充 只需 145with st.chat_message(msg["role"]): st.write(msg["content"]) 

输入框

prompt = st.chat_input(“请输入问题”) if prompt:

# 1. 把用户消息写入历史 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.write(prompt) # 2. 调用模型 with st.chat_message("assistant"): with st.spinner("思考中…"): response = ollama.chat( model="gpt-oss:20b", messages=st.session_state.messages ) assistant_text = response["message"]["content"] st.write(assistant_text) # 3. 把助手回复也写入历史 st.session_state.messages.append({"role": "assistant", "content": assistant_text}) 

一键清空按钮

if st.sidebar.button(“清空历史”):

GPT plus 代充 只需 145st.session_state.messages.clear()</code></pre></div><p></p> 
小讯
上一篇 2026-03-13 11:33
下一篇 2026-03-13 11:35

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/216303.html