1. 首页首页
  2. 科技前沿科技前沿

2026年OpenChat：性能高达105.7%，第一个超越ChatGPT的开源模型？

科技前沿 • • 阅读 2

OpenChat：性能高达105.7%，第一个超越ChatGPT的开源模型？svg xmlns http www w3 org 2000 svg style display none svg

大家好，我是讯享网，很高兴认识大家。



 <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>OpenChat&#xff1a;性能高达105.7%&#xff0c;第一个超越ChatGPT的开源模型&#xff1f;</p>

讯享网

前几天开源模型第一还是是Vicuna-33B、WizardLM，这不又换人了。对于开源模型的风起云涌，大家见怪不怪，不断更新的LLM榜单似乎也没那么吸引人了。

最近，开源模型 OpenChat 发布了新的版本，据说在 AlpacaEval 和 VicunaGPT-4 评估上的性能超过了ChatGPT。

在这里插入图片描述
讯享网

这次#击败ChatGPT的开源模型#有些唬人，到底如何呢？

根据官方介绍，OpenChat 的性能表现：

在斯坦福AlpacaEval上，以80.9%的胜率位列开源模型第一；

在Vicuna GPT-4评测中，性能则达到了ChatGPT的105.7%。

在这里插入图片描述

PART 01

开源模型 OpenChat 超越 ChatGPT

OpenLLM 是一个在多样化且高质量的多轮对话数据集上进行微调的开源语言模型系列。

具体地，研究人员从约 90K 的ShareGPT对话中，过滤出约 6K 的GPT-4对话用于微调。清洗后的GPT-4对话与对话模板和回合结束时的token相结合，然后根据模型的上下文限制进行截断（超出限制的内容将被丢弃）。

数据处理流程包括三个步骤：

清洗：对HTML进行清理并转换为Markdown格式，删除格式错误的对话，删除包含被屏蔽词汇的对话，并进行基于哈希的精确去重处理

筛选：仅保留token为Model: GPT-4的对话

转换：为了模型的微调，针对所有的对话进行转换和分词处理

要运行数据处理流程，可执行以下命令：

讯享网

OpenLLM 被证明可以在有限的数据下实现高性能。
在这里插入图片描述
OpenLLM 有两个通用模型，即 OpenChat 和 OpenChat-8192。

OpenChat 模型是基于 LLaMA 模型进行微调的，它充分利用了极小、多样且高质量的多轮对话数据集。这样的数据集有助于 OpenChat 模型在对话场景中产生更准确、更自然的回复。

在这里插入图片描述

具体地，OpenChat：基于LLaMA-13B微调，上下文长度为2048

在 Vicuna GPT-4 评估中达到ChatGPT分数的105.7%

在 AlpacaEval 上取得了惊人的80.9%的胜率

在 AlpacaEval 上取得的79.5%胜率

在这里插入图片描述
图注：Vicuna GPT-4评估（v.s. gpt-3.5-turbo）

在这里插入图片描述
图注：Vicuna GPT-3.5-Turbo评估（v.s. gpt-3.5-turbo）

除此之外，OpenLLM还有代码模型：

在 Vicuna GPT-4 评估中达到ChatGPT分数的102.5%

在 AlpacaEval 上获得78.7%的胜率

在这里插入图片描述

PART 02

OpenChat 安装和权重

要使用OpenLLM，需要安装CUDA和PyTorch。用户可以克隆这个资源库，并通过pip安装这些依赖：

 
目前，官方提供所有模型的完整权重作为Hugging Face repos。用户可以使用以下命令来启动本地 API 服务器，网址是 http://localhost:18888。
 
在这里插入图片描述
 
该服务器与 ChatCompletions协议（请注意，有些功能不完全支持）和openai软件包兼容。用户可以通过设置来指定openai包的服务器：
 
讯享网
 
当前支持的ChatCompletions参数有：
 在这里插入图片描述
 
PART 03
 
对 OpenChat 的争议
 
研究者采用的评估模式与 Vicuna 的略有不同，还使用了证据校准（EC）+平衡位置校准（BPC）来减少潜在的偏差。
 
在这里插入图片描述
 
虽然 OpenChat 模型在 AlpacaEval 和 VicunaGPT-4 评估中超越了ChatGPT，但这一消息并未引起网友的热烈讨论。争议声音认为 OpenChat 的评价方式夸张，并呼吁使用更高级的MT-bench基准进行评估。
 
为了回应这些争议，Vicuna官方回应称他们正在使用更高级的MT-bench基准进行评估。这一基准可以更全面地评估模型的性能，使评估结果更具有说服力。
 在这里插入图片描述
 
OpenLLM 虽然够实现优秀的性能，但仍然受到其基础模型固有限制的限制，如：
 
复杂推理
 
数学和算术任务
 
编程和编码挑战
 
参考：
 
 

  

                    


                    


                    

                        

                            

                                小讯
                            

                            

                                

                                    
                                        
                                    
                                

                            

                        

                    

                


                

                    
                    
                    

                        
                        

                             上一篇
                            2026-03-09 16:35
                        

                    

                    
                    


                    
                    
                    

                        
                        

                            下一篇 
                            2026-03-09 16:37
                        

                    

                    
                    
                


                

                    
相关推荐

                    
                

                

                    

                        版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/209480.html