生成式预训练模型（生成式预训练模型GPT基于）

大家好，我是讯享网，很高兴认识大家。

自ChatGPT面世以来，生成式人工智能成为人工智能领域发展的热点。生成式人工智能技术的基本形态，是采用海量数据来训练人工智能大模型，使其学会人类的语言文本和图像视频的统计模式后，能够在用户给出提示指令后，自动地生成所需的数字内容。与传统人工智能局限于分类、识别等特定功能相比，生成式人工智能更关注创造性内容的生成，展现出前所未有的文字对话、文档撰稿、代码编写、图片创意、语音合成和视频生成等多样性的能力。

生成式人工智能技术综合了60多年来人工智能的研究成果，特别是最近10年来深度学习的技术突破。首先，能够从海量的语料数据中学习人类知识，熟记文本、语音、图像、视频等内在规律与统计模式，自动生成用户所需的新文本、图片、声音和视频。其次，实现了大模型的基于大量数据的训练学习通用特征与在特定任务上进行微调以优化性能的学习模式，并能够接受人类反馈进一步强化学习。不但可以记忆通用的人类知识，还可以持续学习专业的知识与技能，并在人类的奖励指导下，输出符合人类道德和法律约束的内容。最后，具备多模态数据的融合机制，动态融合文本、语音、图像、视频等数据，不仅能够生成更为丰富多样的数字内容，而且通过语音、手势、面部表情等的识别，支撑实现AI像人一样与人类交流互动。总之，生成式人工智能已经展现出了多模态、通用化的认知和交互智能，表现出“由专到通”的强大能力，在自动化文档生成、自动化编程、智能客户服务、供应链管理、产品研发、智慧教育和智慧医疗等多个领域展现出极大优势，因而成为诸多领域的热门应用。

虽然这两三年来生成式人工智能展现出了前所未有的认知和多模态交互能力，但是其内在局限日益凸显，如何继续深入推进生成式人工智能技术发展，使之能够真正广泛落地应用，成为人们关注的焦点。

首先，生成式人工智能所依赖的大模型在精准的认知理解和逻辑推理方面存在明显局限。一方面，由于大模型的幻觉现象问题，容易输出事实性错误的内容。另一方面，大模型的内容生成本质上属于概率统计性的词汇预测，所以它无法像人类一样完成长链条的动态逻辑推理。这两个方面的问题意味着很难将生成式人工智能直接嵌入实际业务。因此，如何面向落地场景的需要，消除生成式人工智能的认知幻觉，提升或弥补其逻辑推理能力就成为其进一步发展的关键问题。

其次，生成式人工智能面临着规模提升效益瓶颈。在大模型研发中，模型的性能提升和模型参数规模之间满足幂律关系，即模型规模越大，输入的训练数据越多，模型预测能力就越强。因此，不少企业认为只要继续扩大模型规模，就能够在不远的将来实现通用人工智能。但是，一方面，近5年来大模型的参数规模呈现指数级增强趋势，对智能算力的需求与日俱增，最大模型GPT-4的参数规模已经到了万亿级别，需要上万张GPU卡的集群进行数月的模型训练和参数调优。而一些企业还在扩大GPU集群规模，正在投资建设10万张GPU卡，乃至百万张GPU卡的规模。构建和运行如此大规模的智算集群，需要克服集群供电和散热等能耗难题。另一方面，高质量和高密度数据语料库也将成为制约模型规模继续扩大的因素。众所周知，大模型的性能提升需要大量的高质量训练语料，目前语料库主要来自互联网公共领域数据的汇集。有报告指出，预计到2028年大模型训练将耗尽所有互联网公共数据资源，大模型增长不可避免地遭遇数据危机。为此，需要面向垂直领域，深度挖掘私域数据，扩大高质量数据共享，以支撑大模型更好适应垂直领域的需求。

由此可见，如果生成式人工智能企图单纯以扩大模型规模来实现绝对通用的智能模型，无论是在技术上还是在经济成本上，都不是可持续的技术路线。需要面向垂直领域的业务逻辑和落地场景，有针对性地在业务流程中发挥大模型的长处，弥补其不足，以通专结合的技术路线，实现大模型在产业上的广泛落地与价值赋能。具体地说，就是瞄准领域的重点和难点需求，构造各种各样的专业小模型，与基座大模型相结合，打造领域适配的专业智能体，实现生成式人工智能对现有系统的赋能与升级。

生成式人工智能的发展使得相关的伦理安全风险日益突出，大模型认知能力的涌现和内在缺陷给人工智能的社会治理带来了更多挑战。首先，基于大模型的生成式人工智能系统缺乏可靠的安全护栏，很容易因受到攻击而输出敏感信息或是价值观错误的内容。由于大模型的“算法黑箱”特征，其功能与行为的可解释性和透明性都是需要深入研究的难点问题。其次，生成式人工智能广泛应用带来的各类衍生风险层出不穷，最突出的是深度合成内容的治理问题。大模型生成的各类数字内容与人类创造的内容相比，很多时候已经到了真假难辨的程度，给网络诈骗和虚假内容传播等提供了新的技术手段。为此，急需系统地推行内容标识、水印验证等，建立可行的AI内容溯源管理平台，以确保健康的数字生态环境。最后，生成式人工智能研发与应用的敏捷治理将走向系统化和法治化。目前国内外都在积极制定生成式人工智能的法律法规制度，希望既有效地防范这一新兴技术带来的各类潜在和现实风险，又能够促进和规范这一技术的健康发展。为此，分级化的敏捷治理成为当前研究的热点，通过设置训练算力阈值，把治理的重点放在超大规模神经网络模型的研发和服务上，而对海量中小规模模型的研发活动采取简便的敏捷治理模式，从而实现新技术发展进步和有效治理的平衡。（作者系北京航空航天大学人工智能学院教授）

全国高校人工智能与大数据创新联盟

全国高校人工智能与大数据创新联盟（简称:高校联盟）是由清华大学、浙江大学、中南大学、东北大学、上海工程技术大学、重庆邮电大学、东北林业大学、佛山科学技术学院、曲阜师范大学、黑龙江大学、海豚大数据科技等全国54家高校、企业共同发起，于2018年5月26日在北京中国科技会堂正式成立。迄今为止，联盟发展会员300多家, 覆盖全国20多个省市。联盟由一批积极投身于“人工智能、大数据、区块链”教育事业的高校、科研机构、企事业单位和个人自愿组成的公益性、全国性学术交流服务平台。中国工程院原常务副院长、中国工程院院士潘云鹤、中国科学院院士陈国良、中国工程院院士李伯虎担任联盟名誉理事长，中国工程院院士谭建荣担任联盟理事长。联盟工作接受工信部、国家网信办等政府部门行政管理和业务指导。联盟主要工作是推进产教融合、校企合作、协同育人。(加盟微信)

华算人工智能研究院

高校区块链专委会

全国高校人工智能与大数据创新联盟区块链专委会（简称:高校区块链专委会），是由北京大学、浙江大学、武汉大学、西南财经大学、北京交通大学、郑州大学、贵州大学、桂林电子科技大学、山西农业大学、佛山科学技术学院、陕西师范大学、中国网安、海豚大数据科技等全国40多家高校、企业和机构共同发起，于2019年12月7日在广东省佛山市正式成立。目前发展高校及企业会员70多家。中国工程院院士、浙江大学教授陈纯担任高校区块链专委会名誉顾问；福州大学教授蔡维德、中国计算机学会区块链专委会主任斯雪明教授、中国人民银行数字货币研究所副所长狄刚担任高校区块链专委会名誉主任；北京大学信息科学技术学院区块链中心主任陈钟教授担任高校区块链专委会主任。高校区块链专委会主要工作是促进高校区块链教育，为高校区块链专业建设及学科发展提供专家咨询服务。

高校元宇宙专委会

全国高校人工智能与大数据创新联盟元宇宙专业委员会（简称:高校元宇宙专委会），是由清华大学、湖南大学、浙江大学、四川大学、汕头大学、河北金融学院、保定市元宇宙协会、英伟达中国、海尔衣联网研究院、海豚大数据科技(天津)有限公司等全国20多所高校、企业和机构共同发起，于2022年11月5日在北京正式成立。中国工程院院士、计算机软件与虚拟现实领域专家赵沁平担任高校元宇宙专委会名誉顾问；中国工程院院士、北京航空航天大学电气与自动化学院名誉院长、中国航天科工集团有限公司科技委高级顾问李伯虎担任高校元宇宙专委会名誉主任；清华大学信息国研中心可信软件和大数据部常务副主任邢春晓担任高校元宇宙专委会主任委员。目前已发展高校及企业会员30多家。高校元宇宙专委会主要工作是促进高校元宇宙教育、加强校企合作、推动元宇宙专业建设及学科发展，为元宇宙教育教学提供专家咨询服务。

高校数字经济专委会

全国高校人工智能与大数据创新联盟数字经济专业委员会（简称:高校数字经济专委会），是由华算人工智能研究院、清华大学、北京大学、中国人民大学、中国社会科学院信息化研究中心、四川大学、北京外国语大学、北京科技大学、北京工业大学、北京语言大学、北京化工大学、北京联合大学、北京物资学院、北京印刷学院、西藏民族大学、河北金融学院、重庆财经学院、苏州城市学院、北京中关村软件园、百度、海豚大数据科技等全国60多家高校、企业和机构共同发起，于2024年1月12日在北京正式成立。清华大学经济管理学院教授姜旭平、北京大学信息管理系教授赖茂生、中国社会科学院信息化研究中心主任姜奇平、中国科学院大学经济与管理学院教授吕本富担任高校数字经济专委会主任委员。高校数字经济专委会主要工作是促进高校数字经济专业建设及学科发展，推动产学研合作，为高校数字经济专业教育教学提供专家咨询服务。