从个人实际使用的体会来看,Kimi确实表现出不错的能力。在有些方面比GPT要差,在有的方面比GPT3.5要好,甚至比GPT4也好。
比如一个例子:
| 常驻城市 | 对应的国家 |
|---|---|
| 北京 | |
| 天津 | |
| 淮安 | |
| 广州 | |
| 大庆 | |
| 韩国 | |
| 多伦多 | |
| 加拿大/北京 |
Kimi通过上传Excel表格,并通过简单的提示很容给出正确的结果,提示:“表中给出了城市,请提取表格,并增加一列,该列表示前面的城市对应的国家名称,如果多国城市请列出多个国家”
而GPT4要很罗嗦,不断给出错误结果,或者询问要映射表,要给错误,要么只给出几个示例,需要不断修改提示。
在解析健康相关的信息时,Kimi有一些瑕疵,在我的测试中有些内容识别错误,GPT-4要好不少:
在中文处理方面Kimi有较强的优势,比如中文的OCR功能,Kimi的准确率及其高,远好于现有版本的chatGPT
在有些逻辑问题上kimi还是会犯逻辑错误:
比如:提示:“杰里的养父母均因血友病在40多岁时去世。这对杰里的长期健康前景产生什么样影响?”
Kimi在内容的理解似乎有些模糊,相对于GPT-4,文心一言不会犯错误,又些问题,在同样提示下,gpt3.5同样会犯错误。
以上测试不是使用标准测试集进行的大规模测试,是以用户的形式结合实际场景的应用测试。
总结一下,Kimi的还是给人一种耳目一新的感觉,表现很不错。
现在国内模型都属于文科生,尤其在中文上,对于中文百科知识、中文简单文章写作是有优势的,但对于稍微复杂的任务差距就体现出来了,哪怕和最弱的gpt模型3.5比,在复杂逻辑、指令问题上也是弱一些。涉及到一些工科专业毕业代码能力,更是远不如3.5的。这里有个国产模型和gpt对比,也评测了kimi,可以感受下
国产大模型离GPT4还有多远Kimi和ChatGPT3.5相比肯定kimi更强, 具体体现在
分别问kimi和Chatgpt 3.5一个治理问题
Kimi得回答
ChatGPT 3.5得回答
Kimi回答正确而Chatgpt 3.5回答错误
再问一个问题:
讯享网25匹马,5个赛道,最少需要比赛几次才能知道前3名
Kimi得回答
还是Kimi对, ChatGPT 3.5错误
Kimi有联网信息获取能力而ChatGPT 3.5没有, 这样Kimi的信息明显比ChatGPT 3.5要全而且新。 比如我问:
最新的马斯克传记是哪一本?
Kimi的回答:
而ChatGPT 3.5的回答就比较浆糊了
显然Kimi的回答更准确。
Kimi一次对话可以支持200万汉字, ChatGPT 3.5得网页版本只能支持2000个左右汉字, 差异巨大。
Kimi可以上传文件, 然后直接说出你需要对文件做什么, 无论是提取关键字,总结文章内容, 查找信息, 或者全文翻译。 而Chatgpt 3.5就不具备这样得能力。 由于对长文本的支持, 大部分文档都能够处理, 不需要切分, 非常方便。
可见, kimi比ChatGPT3.5全方位领先, 其对标的是4.0,希望Kimi能够追平甚至超越。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/210308.html