Penelope 为多轮智能体任务重新设计缓存淘汰

Penelope 研究指出，智能体经常重复使用长历史，而靠近序列末尾的 KV 缓存重算成本可能更高。它在保留共享前缀的同时，优先保存后部缓存，只重算缺失片段。

团队基于 SGLang 实现，并比较仅 GPU 缓存与 GPU、CPU 分层缓存。论文在真实智能体轨迹上报告首 Token 延迟与任务耗时下降。

来源：arXiv · 2611.00391