视而不见,心领神会:全模态大语言模型的 Token 压缩

媒体报道 Hugging Face Papers 原文语言:中文

ReMo 是一种无需训练的方法,通过跨模态对齐压缩冗余视觉 token,并用紧凑的文本描述替换对象级视觉 token,从而降低全模态大语言模型的推理输入 token 成本。该方法在音视频任务上实现了相当的准确率。

全文

ReMo, a training-free method, reduces inference input token cost for omni-modal large language models by compressing redundant visual tokens through cross-modal alignment and replacing object-level visual tokens with compact text descriptions, achieving comparable accuracy on audio-visual tasks.

正文以来源语言显示。

参考来源

← 返回每日AI报告