Hugging Face Papers ↗ · 2026-11-18
面向样本高效的 NPU 设计空间探索的机制批评者
媒体报道 Hugging Face Papers 原文语言:中文
论文提出 CriticNPU 框架,通过在线校准的机制批评者在 NPU 架构设计中实现样本高效的设计空间探索。该批评者利用硬件上限在仿真前过滤弱候选,并在仿真后聚合算子运行时预测瓶颈,使用 Roofline 模型估算计算与内存上限。实验在六种 LLM 工作负载和 16 种部署配置上显示,CriticNPU 在前置和解码阶段分别达到 74% 与 87.5%…
全文
用于LLM推理的NPU设计空间探索主要依赖于昂贵的模拟器,该模拟器通常只返回标量反馈,如延迟和功耗。此类反馈可以对评估出的配置进行排序,但在决定某个配置为何运行缓慢或下一步应更改哪个架构参数时,却提供的信息甚少。由于预填充(prefill)和解码(decode)工作负载可能受限于不同的资源(包括计算吞吐量和HBM带宽),这一局限性尤为严重。我们提出了CriticNPU,这是一个围绕在线校准的机械论评论家(mechanistic critic)构建的样本高效的DSE框架,用于NPU架构设计。该评论家使用显式硬件限制来评估NPU配置:在模拟之前,它评估所提出的配置是否有望优于当前最优配置并过滤掉较弱的候选者;在模拟之后,它将算子级运行时间聚合为预填充/解码瓶颈摘要,并预测候选参数更改的效果。我们使用Roofline风格的模型实例化了该评论家,该模型从架构参数推导出计算和内存限制,并使用模拟器观测值来校准每个算子类型的有效限制。CriticNPU将该评论家与工作负载提取器和架构规划器结合起来以提出配置。在6个LLM工作负载和每个模型16种部署配置下,CriticNPU在74%的预填充和87.5%的解码设置中实现了最佳或并列最佳的延迟,同时使用的模拟器调用次数约为具有竞争力的DSE基准测试的一半。我们进行了广泛的消融实验和详细分析,从多个角度验证了我们方法的有效性。我们的代码可在https://github.com/bruno686/CriticNPU获取。
查看 arXiv 页面 查看 PDF GitHub 1 添加到收藏
正文为 AI 译文。