Meta FAIR 推出自改进内存方法提升智能体持续学习能力

媒体报道 MarkTechPost 原文语言:英文

Meta FAIR 引入了一种名为自改进内存(Self-Improving Memory)的方法,使人工智能智能体能够自行发现内存指令并将其训练到权重中。该方法在持续学习基准测试的 3 项任务上平均得分为 56.0 分。

全文

Meta FAIR 已推出 Self-Improving Memory,这是一种让 AI 代理自行管理记忆的方法。模型首先发现自己的记忆指令,然后将这些技能训练到权重中。合著者包括华盛顿大学和约翰斯·霍普金斯大学的研究人员。

TL;DR

方法:基础模型为 Kimi-K2.6,拥有 1 万亿参数的 MoE,活跃参数为 32B,上下文长度为 256K。蒸馏阶段在注意力投影上添加了 LoRA 适配器(秩 64)。

运行环境:训练硬件未披露。Kimi-K2.6 的服务需要多 GPU 节点;Vast.ai 推荐使用 8× H200。提供原生 INT4 权重。

性能:自发现的记忆提示在 3 项任务上的平均得分为 56.0,而最佳人工编写的提示为 44.6。

最佳:Codebase,使用优化提示得分 64.3,比最佳手写 harness 提升 20.6 分。

最差:Spectrum 蒸馏仅提升 2.9 分(46.5 对比 43.6,后者为通用运行的 SFT)。

什么是 Self-Improving Memory?

Self-Improving Memory 是 Meta FAIR 提出的两阶段方法,教会代理模型管理基于文件的记忆。代理在一系列子任务流中工作,每个子任务从空上下文开始,只有通过文件工具编辑的持久记忆目录会被保留。

两个提示控制记忆。OFFLOAD 在子任务后更新记忆,LOAD 在下一个子任务前检索笔记。通用版本将策略留给模型。研究帖中的试点研究发现,没有单一手写策略能在所有任务中获胜。

如何进行 harness 优化?

在第 1 阶段,元代理重写 LOAD 和 OFFLOAD 提示。搜索从 4 条人工编写的种子开始:Summary、Retrieval、Skill 和 Hypothesis。每个候选在完整任务流上运行 5 次,平均得分最高的前 4 条成为后续修订的父代。

对于每个父代,元代理读取轨迹、得分和最终记忆目录,然后提出修订后的提示。选择使用元代理看不到的保留集进行。

发现的提示是具体的。一个 Database 提示要求先阅读 GUARDRAILS.md,再阅读 SCHEMA.md,然后再作答。最佳的 Codebase 设计使用 quickstart 文件、索引化的 fix 注册表以及独立的 fix 文件。

如何将 harness 的收益转移到权重中?

第 2 阶段遵循 Discover‑Demonstrate‑Distill 流程。任务代理使用优化提示运行训练子任务,记录每一次模型调用。研究团队随后在该历史记录中将优化提示换回通用提示。

这种替换之所以有效,是因为行为在通用指令下仍然有效。例如保留 QUICKSTART.md、REGISTRY.md 和 SCHEMA.md 文件,并在聚合前验证连接键。模型在注意力投影层上使用 LoRA(秩 64)进行微调,损失仅覆盖助理 token,包括推理和工具调用。每个任务权重相等。

元代理和任务代理都是同一个 Kimi‑K2.6 模型。因此模型在它自己发现的记忆技能上进行训练。

基准测试显示了什么?

测试使用 3 个持续学习 Bench 任务:Database(SQL)、Codebase(代码库修复)和 Spectrum(无线电扫描)。测试子任务遵循设计好的相位转移。因此结果衡量对同任务新实例的泛化能力。

测试得分DatabaseCodebaseSpectrumAverage

无记忆7.531.821.920.4

压缩39.836.934.637.1

通用 harness32.333.542.536.1

最佳手写47.943.742.144.6

优化 harness53.864.349.956.0

在通用轨迹上进行 SFT31.637.543.637.6

在优化轨迹(通用提示)上进行 SFT37.745.146.543.1

来源:图 4 与图 5,Self‑Improving Memory 博客。所有行均使用 Kimi‑K2.6。

优化后的 harness 在所有 3 项任务上均超越最佳手写种子。Codebase 增幅最大,为 20.6 分。搜索过程噪声较大:44 次生成的修订中有 37 次未能超越之前的最佳。Database 与 Spectrum 在第一代即达到峰值,Codebase 则在第 4 代仍在提升。

蒸馏后,每个模型都运行通用 harness。蒸馏模型在 10 个匹配种子上的平均得分为 43.1。对通用轨迹进行 SFT 的得分为 37.6,提升了 5.5 分,即 14.6%。

它与 ALMA、MemEvolve 和 Harness‑Zero 的比较如何?

近期有多种方法在代理记忆或 harness 上进行搜索。Self‑Improving Memory 搜索记忆提示,然后将其蒸馏到权重中。基准不同,故标题数字不可直接比较。

特性Self‑Improving MemoryALMAMemEvolveHarness‑Zero

OrgFAIR at Meta, UW, JHUXiong, Hu, CluneOPPO AI Agent Team, LV-NUSPeking University, Google, HKUST

搜索内容:加载/卸载内存提示;内存设计为 Python 代码;内存架构和内容;完整代理 harness

训练权重:是,LoRA rank 64;否;否;是,LoRA SFT

模型:Kimi-K2.6(代理和元代理);GPT-5 元代理,GPT-5-nano/mini 任务代理;GPT-5-mini(加上 DeepSeek V3.2,Kimi K2);Qwen3.5-9B 学生

基准:Continual Learning Bench(3 个任务)ALFWorld、TextWorld、Baba Is AI、MiniHack GAIA、WebWalker QA、xBench-DeepSearch、TaskCraft SpreadsheetBench Verified、AppWorld、USPTO 合成

标题结果:56.0 对 44.6(最佳人工 harness);43.1 蒸馏;53.9% 对 41.1%(无记忆,GPT-5-mini);最高提升 17.06%;去除 harness 后从 23.3% 提升至 44.3%

代码:未发布;GitHub;GitHub;GitHub

Harness-Zero 是最接近的匹配,但它使用单独的代理来纠正学生。Self-Improving Memory 跳过了该步骤。

关键要点

Kimi-K2.6 编写的内存提示优于人工提示:56.0 对 44.6。

代码库出现最大跃升:64.3,上升 20.6 分。

蒸馏保留了部分提升:43.1 对 37.6(使用通用提示)。

44 次元代理修订中有 37 次失败,因此评估和选择很重要。

查看博客文章、X 讨论串以及 Continual Learning Bench 论文。

正文为 AI 译文。

参考来源

← 返回每日AI报告