他不知道李东为什麽忽然问起这个。

    可李东都这麽问了，这天下哪有不吃白食的道理？

    万斯深吸了一口气说道。

    “想过！李东教授，我们不光想过，还砸了真金白银进去跑过消融实验！”

    “您的降维算法里的fft网格的非线性展开，本质上是在做高维流形的低秩逼近，对吧？”

    “我们就把这套思路端到了长文本的kv cache上。”

    “给key-value矩阵强做低秩投影，切掉尾部的奇异值，显存开销当场砍下去七成。”

    “跑常规文本的perplexity，指标很稳，ppl几乎不掉点。”

    “可一上niah的精确检索评测，recall就当场崩盘。”

    “後来做可视化才定位到，attention矩阵的奇异值谱，是个极其极端的重尾分布。”

    “模型里那几个专司精确检索的attention head，要在几十万个token里捞出那根‘针’，它们学到的特征向量全挤在谱的尾巴上。”

    “我们把尾巴这麽一刀切，等於直接把这几个head的眼睛给挖了。”

    “李东教授，您那套算法算zeta零点的时候，奇异值截断比我们猛得多，凭什麽您的尖峰特征就能无损保留？”

    他说的问题，信息密度高得吓人。

    周围几个竖着耳朵的参展商，已经不动声色地朝这边围拢了过来。

    李东慢条斯理地开了口。

    “你这个问题，算是摸到门道了。”

    “但你们的方向，从一开始就歪了。”

    万斯一怔：“错在哪？”

    “错在你们想靠暴力的‘砍’去收敛边界。”

    “在我的理论框架里，svd谱截断压根不是c位，那只是工程落地时顺手的後处理。”

    “真正的杀招，是截断前的那次非线性流形重排。”

    “零点，是zeta函数的特征指纹。”

    “你说的精确检索，是全局序列的特征指纹，指纹这东西脾气很怪，选错了基底，你给它留再高的rank它也存不住，扔进正确的正交基底里，rank 1就足够表达了。”

    “所以，你们直接在kv的原始特征空间里强做低秩，纯属南辕北辙。”

    ……略

    “等特征重分布做完，你再去切奇异值，error bound（误差上界）自然就收敛了。”

    万斯听得连呼吸都屏住了。

    听起来……数学逻辑上完全能闭环啊！

    “那、那这个非线性重构算子，该怎麽参数化？”他急切地追问。

    “这就得看你们对自家数据分布的先验假设了。”李东高深莫测说道，“流形重构是同数据分布强绑定的，我总不能越俎代庖替你们去定义你们自己的预训练语料吧？”

    万斯重重地点头。

    有道理。

    这话简直不能更有道理了。

    “不过，”

    李东随口地补了一句。

    “我倒是好奇一件事。”

    “你们费这麽大的劲，又是投影，又是重排，折腾来折腾去，无非是想把那坨越来越臃肿的cache压小一点，对吧？”

    “那你们就没想过，干脆，把kv cache彻底扬了？”

    万斯愣住了。

    把cache扬了？

    attention机制不带cache，那他妈还叫……>

本章未完，点击下一页继续阅读