1.2. 滚动摘要
为了在不丢失核心信息的前提下动态压缩对话历史,控制上下文长度,可随着对话的进行对上下文进行摘要:
a. 对话历史达到一定长度(如上下文长度最大值的 70%)时,将对话历史中较早的部分(如前一半)提取出来,发起独立 API 调用使大模型对这部分内容生成“记忆摘要”;
b. 构建下一次请求时,用“记忆摘要”替换冗长的对话历史,并拼接最近的几轮对话。
多轮对话1 2 滚动摘要 为了在不丢失核心信息的前提下动态压缩对话历史 控制上下文长度 可随着对话的进行对上下文进行摘要 a 对话历史达到一定长度 如上下文长度最大值的 70 时 将对话历史中较早的部分 如前一半 提取出来 发起独立 API 调用使大模型对这部分内容生成 记忆摘要 b 构建下一次请求时 用 记忆摘要 替换冗长的对话历史 并拼接最近的几轮对话
为了在不丢失核心信息的前提下动态压缩对话历史,控制上下文长度,可随着对话的进行对上下文进行摘要:
a. 对话历史达到一定长度(如上下文长度最大值的 70%)时,将对话历史中较早的部分(如前一半)提取出来,发起独立 API 调用使大模型对这部分内容生成“记忆摘要”;
b. 构建下一次请求时,用“记忆摘要”替换冗长的对话历史,并拼接最近的几轮对话。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/216573.html