讨论精选
dinerburgeryum (0↑): 天哪，看看这个KV图。在Q6基础量化下，f16和q8_0在K和V上几乎没有差异，但使用Q8基础量化时立即出现退化。感谢你确认了我当前的设置“在我的VRAM上已经是最好的了”，也让我少了一件操心的事。
SnooPaintings8639 (0↑): 我对这个话题非常非常感兴趣，感谢楼主。 ……但我真正想看到的是长上下文下的智能体性能。要么是约10万上下文下的工具调用基准测试，要么是涉及几万token的复杂任务，比如编码，并有可感知/可视化的输出。这正是这里的人们声称受到KV量化巨大影响的地方。
chimpera (0↑): 这证实了对我来说q8_0,q5_1是最佳选择。如果你有时间且有兴趣，可以检查beellama分支中的kvarn6,kvarn6 kvarn6,kvarn5 kvarn5,kvarn5 kvarn5,kvarn4和kvarn4,kvarn4。