Claude Code作为Anthropic官方推出的AI编程工具,功能强大但只能调用官方API。今天我要做的就是打破这个限制,通过LiteLLM代理让Claude Code能够调用本地部署的任意模型,包括:
- 通义千问系列(Qwen)
- DeepSeek系列
- Llama系列
- 其他任意开源模型
这样既能享受Claude Code的优秀良好体验,又能使用免费的本地模型,一举两得!
配置完成后,你可以:
- ✅ 在Claude Code中直接使用本地模型
- ✅ 享受完整的工具调用功能
- ✅ 无需支付API费用
- ✅ 数据完全本地化,保护隐私
- ✅ 支持多种模型切换
架构图
核心组件
- Claude Code: Anthropic官方编程工具
- LiteLLM: 统一AI模型API的代理工具
- LM Studio: 本地模型运行平台
- 本地模型: 各种开源大语言模型
安装清单
第一步:启动LM Studio
- 下载并安装LM Studio
- 下载你喜欢的模型(推荐Qwen3-Coder系列)
- 启动本地服务器,默认端口1234
第二步:配置LiteLLM代理
创建配置文件 :
配置解读:
- : Claude Code看到的模型名称(建议使用Claude官方格式)
- : 实际调用的LM Studio中的模型
- 这种映射让Claude Code以为在调用官方模型,实际上使用的是本地模型
第三步:启动LiteLLM代理
第四步:配置Claude Code
设置环境变量让Claude Code连接到我们的代理:
第五步:测试配置
小技巧:两种模型名称都会调用同一个本地模型,但推荐优先使用Claude官方格式,可以获得更好的兼容性和完整的功能支持。
多模型支持
你可以同时配置多个不同的模型:
性能优化
- GPU加速: 确保LM Studio使用GPU加速
- 内存管理: 根据显存大小选择合适的模型
- 并发控制: 可以在LiteLLM中配置请求限制
模型切换
硬件要求
- 显存需求: 30B模型需要约20GB显存
- 内存需求: 建议32GB+系统内存
- 存储需求: 模型文件较大,需充足存储空间
常见问题
- 模型加载失败: 检查显存是否足够,是否打开flash attention(这个坑很难发现)
- 代理连接失败: 确认端口没有被占用
- 响应速度慢: 考虑使用更小的模型或升级硬件
- 模型名称选择困惑: 这是最容易踩的坑!很多人会问"为什么要用而不是?"
重要提醒:虽然配置中两种模型名都指向同一个本地模型,但Claude Code期望看到官方的模型名称格式。推荐使用的原因:
- ✅ 兼容性更好: Claude Code针对官方模型名优化了功能
- ✅ 工具调用完整: 某些高级功能可能只对特定模型名启用
- ✅ 未来维护: 更符合Claude Code的设计理念
- ✅ 错误更少: 避免潜在的模型识别问题
当然,也能正常工作,但是会出现该调用工具的时候不调用的问题,而是直接输出json字符串。
通过LiteLLM + LM Studio的组合,我们成功让Claude Code支持了本地模型调用。这不仅降低了使用成本,还提升了数据安全性。对于个人开发者和企业来说,这是一个非常实用的解决方案。
如果你也想体验本地AI编程的乐趣,不妨按照本文教程试试看。相信你也会被这种"既要又要"的完美体验所征服!
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!
全过程AI大模型学习路线


市面上的大模型书籍确实太多了,这些是我精选出来的



这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!

如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/222534.html