Piccolo:通过递归自我改进共同进化决策模型与数据

媒体报道 Hugging Face Papers 原文语言:中文

Piccolo 系列(0.8B‑27B)通过代理数据工程和递归自我改进(RSI)同步进化模型能力与训练数据,取得 Decision Index Vision Full 排行榜最高 75.59 分。实验显示,针对数据的精细化策划使 4B‑9B 模型在特定工作流上可匹敌 27B 基线,并揭示了背骨‑配方共适应、数据策划与持续损失下降之间的非直观关系。项目已开源权重与工具。

全文

我们推出了 Piccolo 系列多模态决策模型(规模从 0.8B 到 27B),通过 Agentic Data Engineering 与递归自我改进(RSI)共同演化模型能力和训练数据。模型对通用文本和视觉判断、代理调用、数据工作流以及交互式游戏的候选答案进行概率预测。Piccolo-27B 在 Decision Index Vision Full 排行榜上以 75.59 的得分位列首位,而 Piccolo-9B 与 Piccolo-4B 分别取得 68.35 和 67.46 的成绩。三者在各自模型规模类别的 Private 基准上均排名第一。研究代理分析模型行为、构建训练数据、开展实验,并利用结果优化后续提案。语义切片和共享研究记忆将这些动作在模型家族的开发过程中相互关联。训练配方包含数十万示例,数据选择与基于反馈的细化是自我改进过程的核心。我们的大规模 RSI 探索为决策模型开发提供了三条逆直觉洞见:(1)骨干网络与配方的协同适配比单纯模型新颖度更重要:在相同配方下,早期骨干网络在视觉任务上可超越更新一代模型;(2)针对性的数据策划使 4B‑9B 模型在特定工作流上能够匹敌 27B 基线;(3)持续的损失下降可能与离散决策准确率脱钩,甚至导致其下降。结合 Data‑Juicer 与 AgentScope 生态系统发布的权重和工具,Piccolo 为构建前沿决策模型和扩展数据驱动的 RSI 提供了可操作的蓝图。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 58 添加到收藏

正文为 AI 译文。

参考来源

← 返回每日AI报告