Hugging Face Papers ↗ · 2026-11-19
训练视觉模型以实现 LLM 驱动的权重空间编程
媒体报道 Hugging Face Papers 原文语言:中文
研究展示了通过专门的编辑训练(ERT)提升大语言模型对卷积网络和视觉 Transformer 的权重编辑成功率,实验覆盖 Waterbirds、CIFAR-100、PACS 等数据集,超过 2600 次编辑过程被评估。ERT 在所有基线中为 GPT‑6 Astra 与 Claude Opus 5.5 获得最高平均得分,作者将公开测试框架和全部数据。
全文
研究表明,在大模型(LLM)的某些特定应用场景下,它们可以执行权重空间编程,直接修改神经网络的权重。然而,针对这些网络进行的专用训练如何促进权重空间编程的成功,目前尚不得知。我们提出了一项针对视觉模型中LLM驱动的权重空间编程的基准测试,其中五个LLM在Waterbirds、CIFAR-100、PACS和Entity-30数据集的重新标注和纠错任务中,对卷积网络和视觉Transformer进行了编辑。我们报告了2600多次这样的编辑过程,每个编辑都会根据保留图像的成功率、副作用和准确率损失进行评分。我们比较了带标签平滑的标准训练、基于梯度的可编辑训练,以及我们提出的编辑就绪训练(ERT),这是一种排练LLM执行的直接闭式权重编辑的新方法。我们表明,在标准网络难以编辑的情况下,为编辑准备网络可以大大提高LLM编辑的成功率。对于GPT-6 Astra和Claude Opus 5.5,ERT在所有评估的基线中进一步实现了最高的平均得分。我们将发布我们的LLM测试框架以及所有任务、编辑轨迹和分数。项目网页:https://viscom.uni-ulm.de/wsp
查看 arXiv 页面 查看 PDF 添加到收藏夹
正文为 AI 译文。