跳转到正文
开发动态arXivGETAI.APP查看原文

C3 针对长语音任务优化 KV 缓存检索

C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。

C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。

作者在语音识别、翻译与摘要任务中测试四种语音语言模型,报告在有限缓存访问预算下的质量和效率改善。研究同时观察到,早期检索错误可能随生成逐步累积。

来源:arXiv · 2611.00333

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?