微信AI推翻预测范式清华联手微信革新语言模型
大模型一个token一个token生成，效率太低怎么办？
微信AI联手清华大学，提出了一个新的解法：
一个token能装下的信息太少，不如把它们打包成连续向量，让大模型从预测下一个token，转变为预测下一个向量。
研究团队给这种新范式取名CALM（连续自回归语言模型）。
实验表明，将K个词元压缩成一个连续向量，可以将语言模型建模为一系列连续向量，生成步骤减少至原来的1/K。
这样一来，模型就能在平衡性能和计算成本时，实现更高的性价比。
微信AI推翻预测范式清华联手微信革新语言模型大模型一个token一个token生
量子位看科技
2025-11-06 15:06:13
0
阅读：0
