• 全监督学习（非神经网络）： 仅在目标任务的输入输出样本数据集上训练特定任务模型，严重依赖特征工程。
• 全监督学习（神经网络）： 使得特征学习与模型训练相结合，于是研究重点转向了架构工程，即通过设计一个网络架构（如CNN，RNN，Transformer）能够学习数据特征。
• Pre-train，Fine-tune： 先在大数据集上预训练，再根据特定任务对模型进行微调，以适应于不同的下游任务。在这种范式下，研究重点转向了目标工程，设计在预训练和微调阶段使用的训练目标（损失函数）。
• Pre-train，Prompt，Predict： 无需要fine-tune，让预训练模型直接适应下游任务。方便省事，不需要每个任务每套参数，突破数据约束。

讯享网

比起微调从零开始学习一个分类器（举例），建立预训练模型输出与分类结果之间的对应，Prompt 的任务形式与预训练相同，直接可以从输入中获取更多的语义信息，因此即便是少量数据甚至是 zero-shot 也可能取得不错的效果。

• 如上所述，prompt 的引入使得预训练模型提取的特征更自然地用于下游任务的预测，特征质量更高。
• 不需要为下游任务新增一个分类器，因为任务形式与预训练模型本身相适应；也不需要从零开始训练本来要加的这个分类器。只需要建立一个简单的映射，将 prompt 范式的输出再转变成下游任务需要的输出形式。
• 在少样本甚至零样本场景下表现优秀。

• Prompt Addition：在输入中添加 Prompt；
• Answer Search：根据改造后的输入预测[Z]；
• Answer Mapping：把预测的结果转变成下游任务所需要的形式。

• 预训练模型的选择；
• Prompt Engineering：选择合适的 Prompt，包括两方面：
• prefix prompt 还是 cloze prompt？
• 手动设计还是自动构建（搜索、优化、生成等）？
• Answer Engineering：选择合适的方法将预测结果映射回下游任务需要的输出形式；
• Multi-prompt：设计多个 prompt 以获取更好的效果（集成学习、数据增强等）；
• 训练策略：Prompt 模型可能会含有除了 LM 模型以外的 Prompt 参数，训练策略需要考虑的包括：
• 有没有额外的 Prompt Params？
• 是否更新这些 Prompt 参数？

介绍

随着人工智能技术的迅速发展，语言模型在许多领域中得到了广泛的应用。然而，由于语言模型的训练数据中可能存在偏差和不完整性，因此有时它们可能会提供不准确或无用的信息。为了解决这个问题，AUTOPROMPT技术被提出来，以自动生成提示来帮助用户提供更准确和完整的信息。

AUTOPROMPT是一种自动生成提示的技术，旨在帮助用户提供更准确和完整的信息。它的主要思想是通过分析语言模型的输出和用户的输入，自动确定用户可能需要的额外信息，并生成相应的提示。这种技术可以帮助语言模型更好地理解用户的需求，并提高回答问题的准确性和可靠性。

在使用AUTOPROMPT时，用户首先输入一个问题或请求。然后，AUTOPROMPT会分析用户的输入，并确定用户可能需要哪些额外的信息来回答问题或满足请求。一旦确定了所需的额外信息，AUTOPROMPT就会生成相应的提示，并显示给用户。这些提示可能包括额外的上下文信息、问题定义、详细要求等等，以帮助用户更好地理解和提供所需的信息。

AUTOPROMPT技术在许多领域中都具有广泛的应用。例如，在医疗领域，AUTOPROMPT可以帮助医生快速准确地记录病人的症状和病史。在教育领域，AUTOPROMPT可以帮助学生更好地理解和回答问题，并提高他们的学习效果。在客户服务领域，AUTOPROMPT可以帮助客服代表更好地理解客户的需求和问题，并更快地解决问题。

总之，AUTOPROMPT技术可以帮助语言模型更好地理解用户需求并提供更准确的信息。它的应用领域非常广泛，可以在医疗、教育、客户服务等领域中使用。通过自动生成提示来提高信息准确性，AUTOPROMPT不仅可以帮助人们更快更准确地获得信息，同时也能提高工作效率和满意度。

然而，AUTOPROMPT也存在一些挑战和限制。其中最大的问题是如何确定用户所需的额外信息并生成相应的提示。这需要考虑到用户的背景、语言和理解能力等因素，因此需要对用户和问题进行深入的分析和了解。此外，AUTOPROMPT还需要对语言模型的能力和局限性进行深入了解，以确保生成的提示能够准确地反映用户需求和语言模型的能力。

应用场景

AUTOPROMPT 是一种在自然语言处理（NLP）和机器学习领域中使用的技术，特别是在生成文本的应用中，如聊天机器人、内容创作、代码辅助等。以下是一些 AUTOPROMPT 的应用场景：

1. 聊天机器人与虚拟助手：

   - 用于创建更自然、流畅的对话。

   - 在用户输入不完整或含糊时，自动补全或澄清用户的意图。

2. 内容创作：

   - 辅助写作，为博客、文章、报告等生成初稿。

   - 生成创意故事、诗歌或剧本。

3. 代码辅助：

   - 在编程环境中，为开发者提供代码提示或自动完成代码块。

   - 帮助新手程序员学习编程语言和**实践。

4. 教育：

   - 为学生提供学习材料的自动生成，如练习题、答案解析等。

   - 辅助教师编写教案和课件。

5. 客户服务：

   - 自动生成回复模板，用于客户咨询和投诉处理。

   - 用于生成常见问题解答（FAQ）。

6. 电子邮件和信件撰写：

   - 自动生成商务邮件、感谢信、邀请函等。

   - 用于快速回复邮件，提高工作效率。

7. 社交媒体管理：

   - 生成社交媒体帖子、广告文案和营销内容。

   - 自动回复评论和消息。

8. 翻译与本地化：

   - 辅助翻译工作，提供翻译建议。

   - 自动生成多语言版本的文本内容。

9. 数据分析和报告：

   - 自动生成数据分析报告的摘要和结论。

   - 提供数据可视化文本描述。

10. 游戏开发：

    - 生成游戏剧情和对话。

    - 创建游戏内文本，如任务描述、物品说明等。

AUTOPROMPT 的核心优势在于它可以减少人工编写文本的工作量，提高效率和一致性，同时也可以激发创意和灵感。然而，使用 AUTOPROMPT 时也需要注意质量控制，确保生成的内容准确、合适且符合预期用途。

开源地址

关注公众号 回复  获得

猜您喜欢：

【开源】支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

【开源】五脏俱全，组件独立，可扩展的国产工作流引擎

【开源】采用无代码设计理念，为企业提供「免费」表单问卷能力，「开箱即用」快速赋能业务

【开源】一款基于Web的开源用户支持/工单管理系统，旨在帮助团队管理和协调来自多种渠道的客户通信。

【开源】面向中小企业的进销存管理PSI和仓库管理系统WMS，无需编写任何代码就能增加常规功能，亦支持高效开发复杂功能。

添加微信进相关交流群，

备注“微服务”进**流

备注“低开”进低开**流

备注“AI”进AI大数据，数据治理**流

备注“数字”进物联网和数字孪生**流

备注“安全”进安全相关**流

备注“自动”进自动化运维**流

备注“试用”可以申请产品试用

备注“渠道”可以合作渠道信息

备注“定制”可以定制项目，全源码交付