跳转到正文
开发动态arXivGETAI.APP查看原文

量化研究用低秩与稀疏补偿保留模型信息

一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。

一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。

团队通过模拟退火搜索候选分解,在多款 Llama 与 Qwen 模型上比较 4 位量化表现。论文报告优于直接量化的结果,实际开销取决于所选补偿结构。

来源:arXiv · 2611.00286

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?