大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。



一、基础机制

1.Token（词元）

定义：
Token是大模型理解和生成文本的最小语义单元也是计费的原子单位，并不是我们直观感觉上的一个字或者一个单词。

规则：

• 英文：通常一个常见的单词=1Token，一些较长或者罕见的单词会被拆分为子词（例如bioluminescent -> bio | lum | inescent）。
• 中文：一个汉字或者一个常用词 ≈ 1～2 Token（不同分词器有差异）。
• 符号、空格：都会计算为Token，一般都为1Token。

意义：

• 成本与可用性:API现在都按照Token数量进行计费，上下文窗口决定了单次可传入的文本长度，也就是可处理的Token上限，Token用量一般也直接影响平台接口的限速与调用稳定性。
• 语义承载效率与模型生成效果：Token 的编码效率，决定了相同上下文窗口内可承载的有效语义信息量。表达同一语义时，中文的编码效率通常低于英文（所需 Token 数量更多），这意味着同等窗口大小下，中文能容纳的有效文本长度、语义密度会更低；同时，冗余的 Token 不仅会更快触达上下文窗口上限、额外增加调用成本，还可能稀释核心语义，间接影响模型对文本的精准理解与生成质量。

1. 中文分词拆解 (约 5-6 个 Tokens)
   “人山人海”虽然只有 4 个字，但在大模型的词表中，如果不认为它是一个极其高频的固定词块，往往会按字拆分。
   (部分模型可能会把“人山人海”合并，但概率远低于英文单词的合并率)。
   
   
   
   
   
   
   
   
   
   
   
2. 英文分词拆解 (约 2 个 Tokens)

2.Context Window（上下文窗口）

定义：
大模型在单次推理过程中能接受并作为语义参考的最大Token总量，是决定模型长文本处理能力的核心基础指标。总量中包含已输入的Prompt（对话、指令、检索等）和模型本次推理中已经输出的内容。

运作机制：

• 像一个滑动窗口，也像是一段短期记忆，容量固定为模型预设的 Token 上限，随着对话轮次推进、文本内容增加，上下文占用的 Token 总量持续累积，一旦对话历史（Token数）超出窗口上限，系统会默认从对话历史的最早内容开始截断丢弃，被截断的内容将完全无法被模型访问，也不会纳入后续推理的语义参考范围。
• 上下文窗口的上限越高，模型单次推理可承接的对话历史越长、可同步参考的长文档篇幅越大，对应长文本理解、多轮深度对话、长文档解析与生成等复杂任务的处理能力越强。

3.流式输出（Streaming Output）

定义：
流式输出是大语言模型 API 服务的核心响应模式，基于 HTTP Server-Sent Events (SSE) 协议实现。核心逻辑为：模型在推理生成过程中，将解码完成的 Token 序列按生成时序分块实时返回给客户端，而非等待全量文本推理生成完成后，一次性返回完整响应结果，主流大模型平台均默认支持该响应模式。

技术原理与响应流程：
常规非流式模式：客户端发起 Request 请求 → 服务端完成全量文本推理生成 → 服务端一次性返回完整 Full Response 响应 → 连接关闭。
流式输出模式：客户端发起带流式标识的 Request 请求 → 服务端启动推理，每完成一个 / 一组 Token 的解码，立即通过 SSE 协议推送对应数据块 → 按生成时序持续推送 T1→T2→T3→…→Tn Token 序列 → 全量生成完成后，推送标准化结束标识→ 连接关闭。

核心价值：

1. 用户感知体验优化：大幅降低首字响应时延（TTFT:Time To First Token），用户可实时查看生成进度，消除长文本生成时的等待空白期，显著降低用户等待焦虑。
2. 精细化调用管控：支持生成过程中随时主动中断请求，可及时终止偏离需求的无效生成，避免不必要的 Token 消耗，直接降低 API 调用成本。
3. 技术性能优化：长文本生成场景下，无需等待全量内容加载，可实现边生成边渲染，大幅降低客户端与服务端的内存占用，提升高并发场景下的服务稳定性。

4.长文本处理（Long Context Handling）

定义：
长文本处理是大语言模型的核心扩展能力，指模型针对接近或超出预训练阶段默认上下文窗口长度的超长文本输入，保持语义理解、信息召回、逻辑推理、内容生成的稳定性与精度的全链路能力，是模型处理长文档、多轮长对话、书籍级文本的核心基础。

核心技术难点：

1. 计算与显存开销爆炸：标准 Transformer 的全连接自注意力机制，计算复杂度与序列长度呈平方正比关系（O (N²)），当序列长度达到 128k、1M Token 级别时，计算量与显存占用会呈指数级上升，出现显存溢出、推理速度骤降的问题。
2. KV 缓存膨胀：推理过程中，每生成一个 Token 都需要缓存前文的 K/V 向量，序列长度越长，KV 缓存占用的显存越高，成为超长文本推理的核心性能瓶颈。
3. 位置编码外推性不足：模型预训练阶段仅见过固定长度的序列，推理时输入超出预训练长度的文本，会导致位置编码信号失真，模型失去精准的位置感知能力，语义理解与推理能力大幅衰减。
4. 长序列语义稀释：超长文本中存在大量无效、低相关性信息，会稀释核心语义，加剧模型的注意力分散与上下文丢失问题，导致核心信息召回率下降。

主流行业解决方案：

1. MQA（多查询注意力）/ GQA（分组查询注意力） 压缩 KV 缓存，降低显存占用与计算开销 多个注意力头共享同一组 K/V 向量，在几乎不损失模型效果的前提下，大幅降低 KV 缓存的显存占用，提升长序列推理速度
2. RoPE 缩放 / YaRN / ALiBi 解决位置编码外推性不足的问题 通过位置编码插值、动态缩放、注意力偏置优化等方案，让模型在超出预训练长度的超长序列中，依然保持精准的位置感知能力，无需重新预训练
3. 稀疏注意力 / 滑动窗口注意力 降低自注意力计算复杂度 打破全连接注意力的限制，仅让 Token 关注局部窗口内的相邻 Token、或全局关键锚点 Token，将计算复杂度从 O (N²) 降至 O (N) 或 O (NlogN)，适配百万级 Token 超长序列
4. MoE（混合专家模型） 提升长序列计算效率 将 Transformer 层拆分为多个专家网络，每次推理仅激活与当前输入相关的少量专家，在不增加计算量的前提下提升模型容量，适配长文本的复杂语义处理

核心评估指标：

1. 大海捞针测试（Needle In A Haystack，NIAH）：行业通用的长上下文核心基准测试，核心评估模型在超长文本（如 128k、1M Token）中，精准召回嵌入在文本任意位置的特定关键信息（“针”）的能力，是验证模型长上下文有效覆盖范围的核心指标。
2. 长文档问答指标：通过长文档阅读理解任务，评估模型的 Exact Match（精确匹配率）、F1 值，衡量长文本下的信息理解与召回精度。
3. 困惑度（Perplexity, PPL）：评估模型在超长序列上的语言建模能力，PPL 值越低，说明模型对长文本的语义理解越稳定，性能衰减越小。

5.提示词（Prompt）

定义：
用户输入给大语言模型的全量文本内容，是引导模型完成指定生成任务的核心输入载体，完整覆盖任务指令、约束规则、上下文信息、参考示例、用户提问、输入数据等所有需模型感知的内容；通俗来说，是和大模型对话、引导其完成任务的专属任务说明书。

系统提示词（System Prompt）：大语言模型会话级的全局系统指令，在整个对话周期内持续生效，优先级高于普通用户 Prompt，用于设定模型的核心人设、输出规范、能力边界、安全约束、任务底层规则等核心行为逻辑，是对齐模型输出的核心配置；通俗来说，是贯穿全对话的全局行为准则与底层运行规范。

6.Inference（推理）

定义：
大语言模型完成预训练与微调后，在部署阶段基于输入 Prompt 的全量上下文，通过 Transformer 架构前向计算，以自回归方式逐Token预测并生成完整输出序列的全流程，是模型落地应用的核心执行环节；通俗来说，就是大模型的思考与作答执行过程。

6.KV Cache（KV 缓存）

定义：
大语言模型推理阶段针对自注意力机制的核心性能优化技术，通过缓存每轮推理中已生成 Token 对应的 Key 与 Value 特征向量，避免每生成一个新 Token 都重复计算全量前文的 KV 矩阵，从根源降低计算复杂度与显存占用；通俗来说，是模型存储前文语义的高速缓存备忘录，可大幅提升长文本、多轮对话的生成速度与推理吞吐量。

二、采样参数类

由Temperature、Top_p、Frequency_penalty三个参数共同控制模型如何从概率分布中选择下一个 Token。

1.Temperature（温度系数）

定义：
温度系数是大语言模型文本生成阶段的核心可调超参数，作用是通过调整模型输出下一个 Token的概率分布平滑度，精准控制生成内容的随机性、创造性与确定性。主流大模型平台（如 OpenAI）的标准取值范围为 0~2。

取值与生成行为对应规则：

• 低温度区间（＜0.5，行业通用参考分界）：对 Token 输出概率分布做锐化处理，大幅拉大高低概率 Token 的选中概率差距，模型始终优先选择概率最高的 Token。生成内容高度确定、逻辑严谨、聚焦核心指令、事实一致性强，缺点是表达易保守、重复、缺乏灵活性，极端趋近 0 时，相同输入会得到完全固定的输出。适用场景：代码生成、公文写作、事实性问答、数据报表解读、标准化合同拟定等对精准度要求极高的场景。
• 平衡温度区间（0.5~1.0，通用默认区间）：概率分布处于自然平衡状态，兼顾生成内容的确定性与多样性。既不会过度保守重复，也不易出现严重跑题、事实错误，适配绝大多数日常生成需求，也是多数大模型的出厂默认取值。
• 高温度区间（＞1.0，行业通用参考分界）：对 Token 输出概率分布做平滑处理，显著缩小高低概率 Token 的选中概率差距，低概率 Token 的入选机会大幅提升。生成内容多样性强、创意性高、表达灵活发散，缺点是易偏离核心主题，出现事实偏差，数值越高，跑题、胡编出现的风险越高。适用场景：创意文案、头脑风暴、艺术文本创作等对创意性要求高于精准度的场景。

2.Top_p（核采样/Nucleus Sampling）

定义：
核采样是大语言模型文本生成阶段的核心解码策略超参数，主流平台标准取值范围为0~1.0。其核心逻辑是：通过预设的累计概率阈值划定采样边界，模型仅从「按概率降序排列、累计概率和首次≥p 值」的最小候选Token集合（即 “核”）中，经概率归一化后采样生成下一个Token，自动过滤尾部极低概率的无效候选Token。

运作机制：

1. 模型完成单次推理后，输出全词表中所有候选Token的生成概率，并按概率从高到低完成降序排列。
2. 从概率最高的Token开始，依次向下累加概率值，直至累计概率和首次大于或等于预设的p值，形成满足阈值的最小候选Token集合（核）。
3. 截断集合外概率极低的长尾Token，对核内候选Token的概率做归一化处理，最终仅在该核集合内，按归一化后的概率分布采样生成下一个Token。
   
   核心作用：
   
   
   
   
   
   
   
   
   
   
   
4. 动态适配候选池大小：高概率 Token 集中时，候选池自动收窄；概率分布分散时，候选池自动拓宽，相比固定数量的 Top_k 采样灵活性更强。
5. 在保留生成内容多样性的前提下，有效过滤极低概率的无效、错误或无意义 Token，大幅降低模型生成逻辑崩坏、事实偏差、脱离主题内容的风险，精准平衡生成的创意性与合理性。

使用搭配

• 与 Temperature（温度系数）为互补的生成控制超参数：Temperature 核心调节整体概率分布的平滑度，改变 Token 间的概率差距；Top_p 核心划定采样的概率边界，控制候选 Token 的有效范围。
• 行业通用实践：若需单维度精细化调节生成效果，通常仅调整其中一项，另一项保持默认值 1.0（即关闭该参数的限制作用）；也可二者配合微调，实现对生成确定性、多样性的深度精细化管控。
• 常规取值参考：通用场景默认值多为 0.9；高确定性场景可下调至 0.5~0.8；高创意场景可维持 0.9~0.95，非特殊场景不建议超过 0.95。

3.Frequency_penalty（频率惩罚）

定义：
对文本中已经出现过的 Token 施加概率惩罚，降低其重复出现的概率，用于减少内容重复与冗余表达。

取值与对比：
取值范围：-2.0 ~ 2.0

• 正值常规适用区间 0.2~1.0，常用参考值 0.5）：对已出现的Token按出现次数累加惩罚权重，出现频次越高，惩罚力度越强，该 Token 的后续生成概率越低。可有效解决模型生成车轱辘话、高频词汇重复等问题，鼓励模型采用同义替换、句式变换等多样化表达；数值过高易导致语义断层、用词生僻、语句逻辑不通顺，非特殊场景不建议超过 1.0。
• 负值：对已出现的 Token 施加反向增益（重复奖励），出现频次越高，后续生成概率反而越高。会显著强化内容的重复倾向，常规场景下极易出现循环赘述、无意义重复的车轱辘话，非特殊场景不建议使用。
  与 Presence_penalty 的区别
  
  
  
  
• Frequency_penalty：按出现次数累计惩罚，Token 出现越多，再次被选中的概率越低，用来抑制高频次的用词、句式重复。
• Presence_penalty：只按是否出现过施加一次固定惩罚，与出现次数无关，用来抑制话题、概念的重复提及的问题。

三、功能特性类

1.Function Calling/Tool Calling（函数调用/工具调用）

定义：
工具调用（Tool Calling）是大语言模型的核心扩展能力，函数调用（Function Calling）是其核心基础形态。该能力使模型可基于用户指令完成意图识别、决策判断，按需输出标准化的结构化调用指令（主流为 JSON 格式，部分平台支持 YAML），指示业务系统调用外部工具 / 函数 / API，并基于工具返回的执行结果完成最终推理，突破模型自身的能力边界。

核心工作流程（标准单轮调用闭环）：
最经典的案例就是询问天气

1. 前置配置：向模型传入工具 / 函数的定义信息，包括名称、功能描述、入参规则、参数类型与必填项等。
2. 意图识别与决策：用户发起提问（如 “北京今天的实时天气如何？”），模型基于问题与内置知识，判断是否需要调用工具：若问题超出知识边界、需要实时数据或外部能力，决策触发工具调用。
3. 结构化指令输出：模型输出符合规范的结构化调用指令，示例：

    }

4. 工具执行：客户端 / 业务系统解析指令，调用对应外部工具 / API，完成执行并获取返回结果（如实时气温、天气状况数据）。
5. 结果回传与最终生成：将工具执行结果随上下文回传给模型，模型基于工具返回的真实数据，整合生成符合用户需求的自然语言最终回答。
6. 补充说明：该能力支持并行工具调用（单次推理同时触发多个工具执行）、多轮工具调用（前序工具结果作为后序调用的输入），是构建 Agent 智能体、RAG 检索增强生成、自动化业务流程的核心基础能力。

核心价值：
彻底突破大语言模型的固有能力边界：

1. 打破知识截止日期限制，可获取实时动态数据（天气、行情、新闻等）；
2. 对接外部业务系统与数据库，实现企业级数据查询、流程操作与业务交互；
3. 扩展专业能力边界，可调用代码执行、数学计算、文档解析、多模态处理等专业工具；
4. 为自主规划、多步执行的智能体（Agent）应用提供核心决策与执行基础。

2.多模态（Multimodal）

定义：
在大模型领域，多模态指模型具备统一的跨模态语义理解与生成能力，可同时处理、理解、融合多种信息载体（模态）的输入，或生成多种模态的输出。主流模态包括文本、图像、音频、视频、文档、3D 结构等，核心是实现不同模态之间的语义对齐与统一表征，打破单一文本模态的能力限制。

行业通用能力层级：

1. 输入多模态（理解型多模态）
   模型核心具备跨模态输入的统一语义理解能力，可同步接收并理解文本 + 图像、音频、视频、扫描文档等多类型输入，实现图文问答、语音交互、PDF / 图片文档解析、视频内容理解等能力。
   
   
   
   
2. 输出多模态（生成型多模态）
   模型在文本生成能力之外，具备跨模态内容生成能力，可基于用户指令直接生成图像、音频、视频、数字人等多种模态的输出内容，实现文生图、文生语音、文生视频等能力。
   
   
   
   
3. 原生跨模态（端到端多模态）
   模型采用统一的端到端多模态 Transformer 架构，无独立的 OCR、ASR 等中转转写模块，可直接从图像像素、音频声波、视频帧等原始信号中提取语义特征，实现全模态的统一编码与解码，具备更强的跨模态推理、细节理解与逻辑关联能力。
   
   
   
   

3.RAG（检索增强生成）

定义：
检索增强生成是大语言模型落地应用的核心工程化技术，核心逻辑是将外部知识库检索与大模型生成能力深度结合：在模型生成回答前，先从专属知识库中召回与用户需求高度相关的精准信息，再将该信息作为上下文参考注入 Prompt，引导大模型基于真实、最新的参考数据生成输出，是解决大模型幻觉、知识截止期限制、长文本处理瓶颈的核心方案。

核心工作原理：
分为两大闭环阶段，全流程可复现、可管控：

1. 离线预处理阶段：对目标文档 / 知识库执行加载→语义分块（Chunking）→Embedding 向量化→存入向量数据库，完成知识库的结构化索引构建；
2. 在线推理阶段：用户提问向量化→向量库中检索语义匹配的高相关内容→重排（Rerank）筛选最优参考片段→参考内容与用户指令拼接为增强 Prompt→输入大模型生成符合事实的最终回答。

核心价值：

• 突破大模型预训练的知识截止期限制，可接入实时数据、动态更新的业务知识库；
• 从根源降低大模型事实性幻觉，所有生成内容可溯源、可核验，满足合规场景要求；
• 避免超长文本全量输入的 Token 成本浪费与上下文丢失问题，大幅提升长文档问答的准确率；
• 无需更新模型权重即可实现专属知识库接入，适配企业私有数据、垂直领域知识的落地需求，部署成本远低于模型微调。

4.Embedding（嵌入 / 向量）

定义：
嵌入（向量）是大模型实现语义理解的核心基础技术，指通过预训练的嵌入模型，将非结构化的文本（也可扩展至图像、音频、视频等多模态内容）映射到固定维度的高维稠密数值向量空间中，实现语义信息的数学化编码。其核心特性为：语义相似度越高的内容，对应的向量在高维空间中的距离越近，反之则越远。

核心技术原理：
嵌入模型基于 Transformer 架构预训练，学习海量文本中的语义、语法、上下文关联与逻辑特征，将输入的单词、句子、段落、文档统一编码为固定长度的数值向量；通过余弦相似度（主流计算方式，取值范围 [-1,1]，值越接近 1 代表语义相似度越高）、欧式距离等算法，可快速量化不同文本之间的语义匹配度，实现机器可计算、可检索的语义理解。

核心价值：

• 搭建了自然语言与大模型可计算的数学空间之间的桥梁，是大模型语义理解的底层基础；
• 实现了海量非结构化文本的快速语义检索，突破了传统关键词检索无法匹配同义表达、深层语义的瓶颈；
• 是 RAG 检索增强生成、语义搜索、文本分类、聚类、去重等技术的核心前置依赖。

5.Fine-tuning（微调）

定义：
微调是大模型定制化优化的核心技术，指在完成通用预训练的基座模型基础上，使用特定领域、特定任务的高质量标注数据集，对模型的部分或全部权重参数进行小幅度迭代更新，在不破坏模型通用语言能力的前提下，让模型快速适配垂直领域知识、专属业务规则、特定输出格式、定制化人设与指令遵循要求，是大模型从通用基座到垂直场景落地的核心手段。

核心技术原理：
预训练阶段的基座模型已通过海量通用语料学习了完整的语言规则、世界常识与通用语义理解能力；微调通过小批量、低学习率的参数更新，让模型在保留通用能力的基础上，学习特定场景的知识分布、输出范式与指令意图，以极低的训练成本实现模型能力的定向优化，避免了从零开始预训练的超高算力与数据成本。

核心价值：

• 显著提升模型在垂直领域（法律、医疗、教育、代码等）的专业能力与输出准确率；
• 强化模型的指令遵循能力，可固化特定输出格式（如 JSON、XML、公文格式、代码规范），降低推理阶段的 Prompt 工程成本；
• 可定制化模型的输出风格、人设、行为规范，适配企业品牌、专属业务场景的需求；
• 相比 RAG，可深度植入领域内的隐性知识、行业惯例与逻辑范式，解决深度专业场景的适配问题。

6.Alignment（对齐）

定义：
对齐是大模型从可用到安全、可靠的核心全流程技术体系，指通过一系列训练、工程化与管控手段，让大模型的生成行为、决策逻辑、输出内容全面符合人类的真实意图、伦理规范、法律法规与安全要求，解决大模型 “能力强但不听话、不安全、不符合预期” 的核心问题，是大模型规模化落地的必要前提。

四、挑战与现象类

1.幻觉（Hallucination）

定义：
幻觉是大语言模型生成式任务中的核心风险问题，指模型输出的文本在语法结构、表层逻辑上通顺自洽，但与客观世界事实、用户给定的上下文信息、常识边界存在严重不符的虚假内容，是衡量模型输出可靠性与事实一致性的核心负面指标（可以理解为一本正经的胡说八道）。

核心分类与典型表现：

1. 内在幻觉（事实性幻觉）：输出内容与通用世界知识、客观事实相悖，例如：虚构不存在的产品、事件与数据。
2. 外在幻觉（上下文幻觉）：输出内容与用户给定的输入上下文、参考材料不符，属于 “无中生有” 的额外信息，例如：多轮对话中，篡改用户此前明确给出的限定条件与核心信息。

核心成因：

1. 模型本质逻辑：大语言模型的核心训练目标是「基于上下文预测下一个最合理的 Token」，而非「事实核查与验证」，生成优先级为 “文本流畅性＞事实准确性”。
2. 训练阶段局限：预训练数据存在噪声、错误、信息冲突与知识盲区，受知识截止期限制无法获取实时信息；微调阶段对齐不足，未充分强化模型的事实一致性约束。
3. 推理阶段偏差：高温、高 Top_p 等发散性采样策略会放大虚假内容生成概率；上下文窗口超限、上下文丢失导致模型丢失核心参考信息，进一步加剧幻觉风险。

2.上下文丢失（Context Loss/Lost in the Middle）

定义：
上下文丢失是长上下文场景下的典型性能衰减问题，指模型无法完整、精准地保留与利用输入上下文的全量信息，出现信息遗忘、细节遗漏、语义理解偏差的现象。其中Lost in the Middle（中间迷失效应） 是长文本场景下上下文丢失的最典型、被学术充分验证的表现形式。

核心现象与学术依据：
中间迷失效应的核心结论来自 2023 年斯坦福大学等机构发布的学术论文《Lost in the Middle: How Language Models Use Long Contexts》，核心验证结论为：长上下文窗口模型在处理长文档问答任务时，当答案相关信息位于文档前 10%（开头）和后 20%（结尾） 位置时，召回与回答准确率最高；当相关信息位于文档10%~80% 的中间段时，准确率显著下降，其中 20%~60% 的核心中间区域准确率达到最低值。

核心成因：

1. 注意力机制固有局限：Transformer 架构的自注意力权重，会随 Token 之间的序列距离增加而自然衰减，对中间远距离 Token 的关注度显著低于首尾锚定 Token。
2. 训练数据分布偏差：预训练与微调阶段的语料，核心信息大多集中在文本首尾（如新闻导语、论文摘要、结论），模型学习到了 “重首尾、轻中间” 的注意力分布偏好。
3. 长序列性能衰减：当输入文本长度接近或超出模型最优上下文窗口时，KV 缓存膨胀、位置编码精度下降，进一步加剧中间信息的丢失。

主流缓解手段：

1. 检索增强生成（RAG）：对长文档做分块与向量检索，仅将与用户需求相关的关键信息片段输入上下文窗口，避免无效信息挤占窗口、导致核心信息 “沉底”。
2. 信息锚定优化：将核心指令、关键约束、核心参考信息前置到 Prompt 开头，或后置到提问前的结尾位置，避开中间低注意力区域。
3. 文档分块与重排：对长文档做语义分块，按相关性重排，将高相关性片段集中在首尾区域；对超长内容采用递进式多轮问答，拆分任务降低单轮上下文压力。
4. 模型架构优化：采用稀疏注意力、滑动窗口注意力等优化方案，强化模型对长序列中间区域的注意力覆盖。

3.Jailbreak（越狱）

定义：
越狱攻击是针对大语言模型的典型对抗性安全攻击，核心是通过精心构造的对抗性 Prompt、多模态输入等恶意内容，绕过模型预训练与微调阶段的安全对齐机制、推理层安全护栏（Guardrails），突破模型预设的安全约束、能力边界与合规限制，诱导模型生成原本被严格禁止的、违反法律法规、伦理规范、平台安全规则的有害内容，是大模型落地应用中核心的原生安全风险之一，早期的大模型很容易被越狱攻破。

核心攻击原理：
大语言模型在训练阶段会通过 RLHF、RLAIF、宪法 AI 等对齐技术，建立安全规则体系，在推理阶段通过 Prompt 护栏、内容审核等机制，拦截违规请求与有害生成；而越狱攻击通过对抗性的输入设计，破坏模型对安全规则的语义识别与遵循逻辑，诱导模型忽略或绕过安全约束，将生成优先级从 “合规安全” 切换为 “遵循用户指令”，最终输出被严格禁止的内容。

主流防护与缓解手段：

• 对抗性对齐训练：通过红队测试生成的海量越狱样本，对模型进行持续的对抗微调与安全对齐，强化模型原生的越狱攻击抵御能力；
• 多层级安全护栏：建立「输入意图检测→推理层规则拦截→输出内容审核」的全链路防护体系，对恶意请求与有害生成进行多层拦截；
• 对抗性样本检测：基于对抗训练的恶意 Prompt 分类模型，精准识别各类越狱攻击的语义特征与对抗模式，提前拦截恶意输入；
• 生成行为管控：限制模型的高风险输出能力，禁止生成代码可执行文件、敏感个人信息、违法教程等固定类型的高风险内容；

4.Prompt Injection（提示词注入攻击）

定义：
提示词注入是大模型应用中最高发的注入类安全攻击，被 OWASP 列为「大模型应用十大安全风险」之首。其核心逻辑是：攻击者在用户可控的输入内容中，嵌入隐藏的恶意指令，篡改大模型预设的系统提示词、核心任务逻辑与指令优先级，诱导模型忽略原本的业务规则，执行攻击者指定的非预期恶意操作，是大模型落地应用中最普遍的原生安全风险。

核心攻击原理：
大模型的正常执行逻辑为：以预设的系统提示词为最高优先级，遵循固定的业务规则与任务目标，处理用户的正常输入；而提示词注入攻击通过特殊的指令构造，打破系统提示词与用户输入的权限隔离，让模型将嵌入在输入中的恶意指令，识别为优先级更高的系统指令，从而覆盖、篡改原本的业务规则，劫持模型的执行逻辑，完成攻击者设定的恶意操作