跳转至

上下文

上下文设置控制每次生成可使用多少对话历史,以及历史内容接近 token 预算时 Agora 如何处理。

上下文窗口

默认上下文窗口是 token 预算,不是消息条数。预设范围为 4K1M token,默认值为 32K

预算包含提供商实际可见的请求内容:系统指令、已启用工具的定义、附件文本或已保存的图片转录,以及当前选中的对话分支。Agora 会在本地估算这些开销,并保留能够完整放入预算的最新消息;完整的工具调用轮次不会被拆开。

聊天底栏中的上下文指示器显示估算用量。由于 tokenizer 和提供商侧格式可能不同,该数字可能与提供商最终返回的 token 统计存在差异。

每个对话都可以在高级设置中覆盖默认上下文窗口。

可视化上下文推出

启用可视化上下文推出后,当前提供商可见窗口之外的消息会变暗。消息仍保留在对话中;切换分支或增大预算后,它们仍可重新进入模型上下文。

上下文压缩

上下文压缩会把较早的内容总结为一个持久化的 Compact 胶囊,同时逐字保留最近的消息。原始消息不会被删除。

  • 自动压缩会在下一次发送即将超出当前预算前启动。
  • 压缩模型可指定一个已启用的专用模型;选择当前模型时会跟随对话模型。
  • 保留最近消息可在压缩边界之后逐字保留 0–20 条最近消息。
  • 压缩提示词用于控制总结指令。

你也可以点开聊天底栏的上下文指示器,选择压缩上下文。手动压缩使用与普通回复相同的生成控制:输入框为空时显示停止按钮;输入文字或加入附件后仍可发送,内容会进入队列并在压缩完成后执行。

Compact 胶囊

点击 Compact 胶囊可以阅读总结;右侧菜单可以重新压缩或删除胶囊。

删除 Compact 胶囊只会移除该总结边界并重新连接前后分支,不会删除原始对话消息。

Tip

较小预算可以降低单次请求体积;长对话中需要保留早期关键状态时,可以使用压缩来避免逐字发送所有旧消息。

Note

Compact 是模型生成的总结。长期任务依赖其中的重要事实前,请先检查胶囊内容。