讯享网

 <p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2024%2F0531%2F28d25defj00sebsl6000vd000u000grm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/>图注：AI文生图<br/></p><p id="2OG0I5L8">在人们谈论大模型时，同时也会经常提起“微调”。</p><p id="2OG0I5L9">什么是模型微调？它的作用表现在哪些方面？目前又有哪些常见微调的方法？</p><p id="2OG0I5LA">如果你也好奇，下面跟随司普科技1号解说员小司一起来看看。</p><p><h5>什么是微调？</h5></p><p id="2OG0I5LB">微调，翻译自Finetuning，简称FT，也被很多人称为“精调”。</p><p id="2OG0I5LC">从字面意思理解，微调其实相当于在通用大模型的基础上，对超出范围或不擅长的领域，使用专门的数据集或方法对其进行相应的调整和优化，以提升其在特定领域或任务中的适用性和完成度。</p><p id="2OG0I5LD">虽然微调以“微”见长，但在实际应用中，依然包含全量调整。</p><p id="2OG0I5LE">只是从0开始做下游任务全模型的微调，不仅工作量大，成本高，遇上百万级乃至亿级参数的大模型，还可能导致过拟合。所以，现阶段人们常说的微调，仍以在预训练模型基础上针对特定任务或行业需求做局部调整居多。</p><p id="2OG0I5LF">在技术领域，微调还被视为一种应用广泛的深度学习（Deep Learning）尤其是迁移学习(Transfer Learning)技术，一种常用的行业大模型构建方法。</p><p id="2OG0I5LG">它提升着通用大模型在垂直领域的性能，也加速推动着大模型在各行业的落地。</p><p><h5>微调的价值体现在哪？</h5></p><p id="2OG0I5LH">简单来说，<strong>微调的最大价值在于让大模型更接地气、更具适用性。</strong></p><p id="2OG0I5LI">众所周知，通用大模型基于互联网公开的海量知识进行预训练，它的通识能力很强，但特定领域和行业的专业知识储备却很有限。</p><p id="2OG0I5LJ">这导致基础大模型在处理特定行业或私域的专业知识文档、专业术语、业务流程时，可能存在理解不足或胜任力有限的情况。</p><p id="2OG0I5LK">而微调恰好能根据实际需求，<strong>针对性提升大模型与行业的契合度，让大模型在行业化调整中，更好地为人们所用。</strong></p><p id="2OG0I5LL">举例来说，以往保险行业的专业核保通常需要5年以上医学背景和3年以上保险背景。因为入行门槛高，又涉及数据安全和隐私保护，常规的大模型很难解决业务问题。</p><p id="2OG0I5LM">而以司普科技为代表的大模型应用服务商则通过微调，将医疗保险专业知识内化到行业大模型中，并通过AI Agent联动核保数据结构化、QA质检、模型自学习、核保规则引擎、行业知识库等环节，从而让自动化、智能化核保成为了可能。</p><p id="2OG0I5LN">司普科技在制药行业的商用案例——智能偏差写作同样如此。</p><p id="2OG0I5LO">该项目通过精调，加速大模型对行业专门知识的学习和掌握，并根据实际业务需求，提升了大模型生成符合偏差IQS要求的报告内容的能力。</p><p id="2OG0I5LP">目前类似通过微调加快大模型与行业融合的案例正越来越多。只是部分行业对产品定制、私有化部署、训练数据源、数据量级、训练模式等有较高要求，一定程度上加大了技术攻关难度。</p><p><h5>有哪些常见的微调方法？</h5></p><p id="2OG0I5LQ">关于微调的种类，目前各家各有说法。</p><p id="2OG0I5LR">不过总的来说，现阶段的微调方案包含<strong>模型结构、学习策略、数据预处理、参数</strong>等方面，只是很多并非孤立，而是相互结合在使用。</p><p id="2OG0I5LS">比如RLHF（人类反馈强化学习）、SFT（监督学习）等就属于学习策略方面的微调。</p><p id="2OG0I5LT">数据清洗、数据转换、特征提取、数据归类划分等，属于数据预处理方面的微调。</p><p id="2OG0I5LU">参数类的微调，可能我们听得更多。</p><p id="2OG0I5LV">目前，主要包括FFT（Full Fine-Tuning，全参数微调）、PeFT（Parameter-Efficient Fine-Tuning，参数高效微调）、ReFT（Representation Finetuning，表示微调，也被称为表征微调）等几种。</p><p id="2OG0I5M0">其中，FFT（全参数微调）聚焦对下游任务的模型全量参数进行微调，因为参数更新力度大，计算成本高，且效果未必有保障，所以固定大部分预训练参数，只微调少数参数的PeFT（参数高效微调）是目前更为热门的选择。</p><p id="2OG0I5M1">而大家常见的Adapter Tuning（适配器微调）就是参数高效微调的一种。它不用添加新组件，通过调整部分权重或添加新的权重就能实现和原始模型的协作。</p><p id="2OG0I5M2">另一种我们熟悉的LoRA微调，则是Adapter Tuning（适配器微调）的升级版，也是目前适配器微调中最流行的微调方法。它能提升参数调整效度，高效切换任务、减少推理延迟，最关键的是，还能进一步降低微调成本，使其更具性价比。</p><p id="2OG0I5M3">伴随LoRA微调的广泛使用，为了进一步改善内存需求和微调性能，科学家们还在此基础上推出了QLoRA、LoReFT等版本。</p><p id="2OG0I5M4">Soft Prompt（软提示）是参数高效微调另一种常见的方法，主要通过在输入序列的头部添加学习向量，以实现模型参数的高效微调。在这其中，前缀提示微调(Prefix-Tuning)和提示调整(Prompt-Tuning)是Soft Prompt中最具代表性的两种方法。</p><p id="2OG0I5M5">除了以上几种，今年4月斯坦福大学的研究人员还提出了一种新型的参数类微调方法——ReFT（表征微调）。ReFT是一种无需修改权重，通过干预语言模型学习推理中的隐藏表示，就能有效适配和解决下游任务的微调方法。</p><p id="2OG0I5M6">因为它在提高参数微调效率、减少计算资源、训练时间和内存需求等方面更有优势，且更具解释性，也被很多人看好。</p><p><h5>写在最后</h5></p><p id="2OG0I5M7">以上介绍了大模型微调的基本概念、价值表现和常见方案。</p><p id="2OG0I5M8">总的来说，上面提到的各种微调方案都有其独特的优势和适用场景，建议根据实际的任务需求、模型类型、数据集大小、计算资源消耗等来进行选择。</p><p id="2OG0I5M9">眼下，出于行业或特定任务需要，通过微调优化大模型，强化SLM(小模型)的性能，正变得越发普遍。这或许也解释了，为何包括周鸿祎在内的行业KOL会认为：</p><p id="2OG0I5MA">今天的重点不在于反复做通用大模型，而在于找到细分场景，做出具体应用，并通过微调，落实商用价值。</p><p id="2OG0I5MB">毕竟加快行业落地，能给大模型带来更多商用机会。而微调，会是优化垂类模型必不可少的一环。</p><p id="2OG0I5MC">以上就是今天的全部分享，希望有用~</p><p id="2OG0I5MD">注：本文原创，首发司普科技，有参考机器之心、CSDN、数据派THU、paperspace等，仅做分享。</p>