自2022年底，ChatGPT横空出世，让世人看到了通用人工智能的曙光，大模型就成为了创业圈、创投圈最热的话题。
如今，中国的大模型创业者已经集结在十字路口。他们之中既有研究自然语言理解将近 40 年的科学家，也有已经功成名就的前创业者，还有刚刚博士毕业的年轻人。创业者们在各个层面展开竞争。
为此我们发起AI大模型系列直播【探索AI大模型时代 引领AIGC新浪潮】，本系列直播共5场，主要从大模型应用场景、元宇宙标准 、大模型在tob、toc领域的应用等方面，邀请国际、国内AI领域方面的重量级嘉宾为大家深度解析大模型的当下与未来。
为什么是OpenAI 率先做出ChatGPT？大模型的等级应该如何划分？怎么看待大模型的“涌现能力”？怎么应对“幻觉”问题？大模型的未来是什么？
本期直播，吴恒魁和王湘云带来了重磅分享。
吴恒魁系加州大学戴维斯分校物理学博士，博士期间从事实验粒子物理研究，毕业后联合创办超对称技术公司，专注于通用人工智能系统的研发和产业落地。超对称公司已发布并开源了130亿参数的BigBangTransformer[乾元]大语言模型，是少数几个由中国团队从零独立研发且开源的基础大模型之一。
王湘云系盛景嘉成基金管理合伙人，主管盛景人工智能/元宇宙/产业互联网/企业服务/SaaS赛道，以及盛景海外母基金（美国/以色列）的投资；在加入盛景嘉成之前，历任清华紫光股份企业规划部总经理，SAP ERP咨询服务事业部总经理，博彦科技高级副总裁。
以下为精华内容整理，enjoy ~
一、Open AI等海外大模型给您带来的启发是什么？
吴恒魁：
第一，从大模型的发展历程和底层原理来看，更强的推理能力和数据多样性有关。单纯用金融的数据训练一个领域模型，这个模型的在金融领域的逻辑能力和推理能力弱于用通用数据集（包含了金融语料）训练出来的基础模型。如果想得到更强的模型能力，应该专注在通用能力上，做基础模型。
第二，大模型的开发过程有部分像物理或者化学实验。在这个复杂流程中，需要大量的实验积累怎么构建高质量模型的know-how。
第三，我们团队比较关注底层架构的基础原理，从这个视角去理解以及设计下一代模型GPT-5、GPT-6可能应该往哪里走。GPT模型架构基于Transformer和Attention，我们认为Transformer还只是一个工具，不是最本质的。更本质的应该是无监督学习如何自发产生了对语言结构的理解，OpenAI在Sentiment Net项目中提到过类似想法。这个方向还有很大空间可以挖掘。
GPT-4这样的模型真正落地到工业场景还有一段路要走，这段路到底还有十公里还是一公里我们现在并不清楚。大模型在金融、工业生产这些严肃场景上是不准确的，对于数字和数学问题的处理能非常差，这和大模型内在的原理有关，我们并不确定如何解决。接下来有很多硬骨头要啃。
第四，GPT模型基于预测下一个token让模型对海量文本的语法、语义以及逻辑结构进行压缩，从而能够产生人类级别的智能。是否可以将预测下一个token的方式进行延伸，比如在股价预测上是下一时刻的涨跌，甚至在科学领域我们想预测一种新定理是否遵循热力学第二定律。通过预测下一个X来产生模型对某种数据的压缩，可能会带给我们一些新的模型能力。
二、您怎么看待大模型的“涌现能力”？
吴恒魁：
模型的训练步数到了一定阈值，模型的能力突然提高，准确率产生突变，模型生成的语言从无序变为一种有序的、有意义的状态，这个过程叫做涌现。
Google团队发表的关于大模型涌现能力的论文提到，目前在137种下游任务上观察到涌现行为。一个智能体，面对真实世界的时候，有成千上万种不同任务。下一代模型会不会在更多的任务上观察到涌现行为？或者产生一些人类从未见过的能力？乃至于产生一种类似于人类情感、目标、意义感这样的能力？回答这些问题是研究涌现的原理的重要动力。
从物理学的角度来看，从无序到有序，这个过程一定产生了相变。水被加热之后从液体变成气体是一种相变，磁铁在加热到一个临界温度后失去磁性也是典型的相变，相变指指物质在外部的控制变量（温度、压力、磁场等等）连续变化之下，从一种状态变成另一种状态（用序参量描述）的过程，这个变化过程我们称为临界过程。
物理学在二十世纪最大的成就之一就是用量子场论的重整化机制来解释了相变的临界过程，精确求解了描述控制变量和序参量关系的临界指数的数值解。 我 们发现在各种临界过程控制变量和序参量都存在幂次律的关系。
而大模型训练过程的 Scaling law 显示训练的 Loss 值和模型参数、数据量以及训练 Flops 数之间也有幂次律关系。 幂次律关系一般说明发生了连续相变。 因此我们可能可以应用临界过程的数学描述来为大模型训练过程从无序到有序建立理论框架。
王湘云：
大模型现在的强大之处往往可能就是它的短板和弱点，让它产生涌现的底层原理某种意义上也是让它产生幻觉的因素。
如果对涌现机制有更清晰的理解，未来在大模型产业化过程当中，就会解决幻觉问题等更多的挑战。
尤其在未来，当需要用大模型的智能能力支持实时运算、智能化运算的时候，对模型的处理精度、准确率会有更高的要求。大模型要能够跨模态，和具身智能、机器人、自动驾驶这些真正在物理世界进行交互的应用场景结合起来，就需要具备更高的准确率、最大限度的减少甚至消除幻觉率。
在共同努力之下，我相信人工智能真正大规模产业化的那一天会更早到来。
三、大模型存在“幻觉”，即“一本正经地胡说八道”。怎么看待幻觉问题对大模型产业化的影响？未来会怎样优化和降低幻觉率？
吴恒魁：
当我们尝试把大模型用金融场景的过程中，遇到较多幻觉的问题。举个幻觉案例，让GPT-4抽取一份年报的营收数据，你会发现大模型生成的数值容易出错。在模型的训练过程中，一个单词、标点符号是一个Token。当处理数字的时候，在我们人眼里，一个九位数的收入数字是一个整体。而模型在处理的时候，需要将这九位数变成九个Tokens，预测的难免会遇到错误。
如何有效地处理幻觉？幻觉产生于预训练模型“预测下一个Token”的基础架构中，彻底解决这个问题需要从底层结构入手。我们可以采取一些方法来提高模型的准确率。
第一，直接的处理手段是在有监督指令微调阶段构建针对场景的特殊指令集。指令微调主要用于解锁模型的逻辑能力、倾向性，需要做到微调数据数据集的准确性，以及这些数据集在面对的不同任务的时候，不要过多的重复。
第二，基于人类反馈的强化学习也是有效的方式。对于出现幻觉的场景，构建一个奖励模型，出现幻觉的不给奖励，质量高的给予奖励。GPT-4也是用这样一个奖励的过程来强化学习，但还是阻止不了15%到20%的幻觉率。
第三，我们也在探索，构建tokenier的过程当中，针对于需要的数据做完整的token呈现，如把九位数放到一个向量里，但是如果这么做，字典会变得非常大。
四、大模型的等级应该如何划分？
王湘云：
大模型给整个人工智能产业或者是人工智能支撑的数字化、智能化带来了整体的范式转移。原先训练垂直模型，因为算法不具有泛化的属性，另外一个重要原因是数据量不够大。
有了大模型，借助大模型所构建的底层能力，使得我们可以把底层能力转移到各个应用场景，使得人工智能具备了一种泛化的能力。从这个角度来看，这是一个最核心、最本质的变化。
而且这种泛化不仅是应用场景。未来除了文本以外，同时又能把文本的数据泛化到更多其他的应用。这种多模态的数据、泛化的能力好像给人工智能的底层能力开了一个天眼。在上帝视角基础上再去优化，形成一些垂直的应用场景，我觉得这是非常核心的能力。
现在有人在做最通用的底层大模型，有人在训练垂直的模型，有人在重点关注多模态化，也有人在围绕着垂直的场景把更多的能力整合、形成一种端到端的解决方案，我觉得这是一个一个生态，在生态当中有不同层面的角色，有的角色偏基础设施，有的角色偏上层应用，大家各自发挥能力。
Sam Altman说，开源是一个非常重要的方式。针对一些特别尖端、高能级的场景，适合闭源、非常强的大模型。但在一些通用的商业化场景，开源的模型加上一定的监督和强化的学习，就能够很好地解决问题。
所以我觉得未来一定是在大模型的支撑下，形成一个多样化的商业生态，每个公司在这里面都有自己的一个位置。所以我认为不能单纯以参数维度来看大模型的价值。
五、物理学背景让你对大模型创业有哪些不同维度的帮助或思考？
吴恒魁：
接受过物理学的科学训练，我们有几种基本的思维方式：
第一，对边界性的、底层性的科研课题会更有兴趣。
我们感兴趣的不是对大模型这项技术本身，而是对AGI这个终极目标。我们对人类知识边界性的大科学问题更感兴趣，这也是杨振宁先生经常提的科研的Taste。
第二，进行工程开发的时候，也会很关注基础原理，关注这件事情为什么能够运转。
这样使得我们能够思考更深、也更有定力的去往一个可能的方向走，而不是停留在表面，单纯看到别人去做了什么，自己马上要去做一个一样的东西。这样很容易一直处在忙碌的追赶当中，不可能把事情做好。
第三，世界上所有的知识，只要你要学，都能学得到，而且都必须能学会。
NLP领域涉及到GPT的核心论文有30篇,全部大概有100篇。把这100篇论文全读一遍，就能掌握怎么从零把大模型做出来。
六、对于大模型未来，您有哪些预测和判断？
吴恒魁：
第一，Agent成为大模型的一个重要基础机制
普林斯顿大学和Google的研究人员推出了语言模型推理框架“思维树"(tree of thought)。思想树设计了一个Agent,用来接收大模型推理出来的结果，拿结果跟现实进行比较，如果发现不对由agent反馈给大模型，然后退回到上一步推理过程重新再推理,重复这样的步骤。人的思维过程不是简单的链式，而更接近树状结构，推理不对回到原地重新来。思想树的这个想法并不复杂，需要有一个agent来跟大模型进行交互，以及agent跟现实进行交互。Agent机制也被用于让大模型自动编译代码的code interpreter，以及驱动大模型在游戏中跟环境进行交互。未来可能形成一个整体的架构，让大模型更快更便捷地去跟现实进行交互从而进行迭代。
第二，大模型参与科学研究和人类一起解答科技的未解问题
涌现能力的下一步是什么？终极状态是怎样的？现在GPT-4在律师资格考试、医生资格考试等测试上展现出强大能力，而最展现人的智力能力的是人的智能能够总结归纳自然现象，基于庞大的人类知识库发现新的知识。大模型未来肯定是要往这个方向走，参与到人对整个世界所有的未知的事物和未解之谜的解答当中。参与的手段是多样的。一方面，大模型能够直接像人一样去做实验设计实验。另一方面，利用大模型天然的多学科知识库从跨学科角度来研究自然现象、发现新的规律。
第三，大模型可以自我迭代
大模型可以产生或者被植入某一种目标，形成一个具有自我目标的系统，这个目标能够让它不断迭代，产生更强大的能力。既然大模型能够写自己写代码、自己编译，就能自己迭代。如果这样，只要在机器上面有电有能量，模型就可以不断进行自我演化。
王湘云：
作为投资机构，我们现在重点关注：第一，结合大模型的能力更好优化、形成行业的大模型，这是一个非常好的窗口时机。
第二，虽然现在大模型更多的是以语言大模型为底层，但是大模型在加快进行跨模态的发展，背后一定会跟现实世界形成更多、更深层次、更广泛、更实时的交互。
这种交互的体现可能是一个智能体，可能是一个机器人，也可能是一个背后支持和控制的机器。也就是说，AI加速形成数字世界和现实世界的交互，肯定会诞生出非常好的平台级的机会。
更多模态数据的整合、跨模态的大模型的发展、实时智能计算的能力和算法、在人工智能支持下各种各样智能体的形成，机会纷纷涌现。
这是非常有潜力的机会，而且是刚刚开启的大时代带来的机会。我们希望跟更多的产业公司、科研团队、投资机构共同发现机会、建立合作机会、推动发展。
七、大模型创业的机会究竟最后花落谁家？给创业者的建议是什么？
王湘云：
在谈资本之前，我觉得还是要谈人才。
一个产业的发展，人是最根本的。目前来讲，中国的优秀的这些人才不是太多，而是太少。现在大家纷纷投入大模型，是历史发展的必备阶段。在这个过程中，逐渐演化、找到适合自己的定位，技术能力强的、能融到钱的、能找到很好算力支撑的，会去做一些通用的底层能力。而有些就会聚焦一些符合自己定位的行业。
无论是资本、人才涌入这个领域，是一个好事情，也许有一定的浪费，也存在着失败，但是从整个行业来讲，人才会培养积累出来。
与大模型、人工智能所带来的巨大的机会相比，目前只是前菜甚至前菜都算不上。无论是创业公司、大厂还是投资机构，在这个生态当中找准自己的定位进而一步步演进，是一个巨大的课题和挑战。从我们的角度来讲，希望加快大模型技术和产业的融合。
八、为什么是美国率先做出来ChatGPT？
吴恒魁：
OpenAI的首席科学家Ilya Sutskever是Geoffrey Hinton 的博士生，而Hinton承接了Marvin Minsky发明后自己扔掉的Perceptron研究，Minsky又和冯诺伊曼那批人一起参与了早期的计算机的研发。
《Sparks of AGI》这篇论文提到现在技术圈重新回到了计算机领域的古老梦想，指的是早期电脑在刚被冯诺伊曼等几个人造出来的时候，目标就是要实现像人思考的机器Thinking Machine。
一个大的社会革命背后有着漫长的历史，有深远的社会土壤和因素。背后不只是一代人、两代人的努力，更不是OpenAI一家公司的努力。
西方学术和工业界有一个科研community一代又一代传承这个理想。同样是这个community，从“We want flying car, but we got 140 words”开始他们反思和质疑互联网这些应用作为信息技术的最高成就，对各种大公司的所谓高科技不屑。这种反思和不屑也从OpenAI和Google的关系中可以看到，是催生GPT的文化土壤。
在这个社会土壤下，你可以去思考非常遥远的东西，一些边缘的人能够在自己的世界里面慢慢去探寻。这是一个社会闹哄哄表层下面的静流。这样的静流，流了几十年，才产生了GPT。
相比之下我国的创业圈和创投圈总是很快会从一个热点转移到下一个热点。今天有哪个投资人跟创业者谈的时候不问“如果大厂做了你还有机会吗”这样的问题？
实际上，即使今天GPT非常火，我们是不是也应该思考：有一天大模型也会被扔掉？改变土壤，我们要鼓励新思想的存在。
所有有工程和科学梦想与热情的人都可以参与AGI的研发，未来的AGI是一座非常雄伟的大厦，而大厦底座的砖头绝对不是一个人铺出来的。