这项由中国科学院自动化究诘所、中国科学院大学与腾讯微信相接完成的究诘，于2026年5月发布在arXiv预印本平台，编号为arXiv:2605.06221。关于通盘使用过AI助手处理长篇文档、进行多轮对话或调用智能客服的东说念主来说，这项究诘触及了一个每天齐在发生却鲜少被关爱的遵循瓶颈。

每当你向一个AI助手粘贴一篇几万字的条约条目它摘录，或者条目它阅读一份长达百页的阐爽直恢复问题，AI在给出第一个字之前去往需要恭候突出长的时候。这段恭候时候在工夫上称为"首字延迟"（Time-To-First-Token，简称TTFT），它取决于AI处理你输入的全部内容需要多久。输入越长，恭候越久，这简直是铁律。究诘团队将这个问题比作藏书楼里一位勤劳的管制员：岂论你问什么问题，他齐要把藏书楼里每一转书架、每一册书、每一页纸齐认考究真地翻阅一遍，才肯启齿恢复。赫然，要是管制员能灵巧地判断哪些书架压根与你的问题无关，跳过那些不紧要的部分，他给出谜底的速率就会大幅提高。

UniPrefill恰是基于这一直观设想的框架。究诘团队在实验中讲明，这套法子能让AI处理长文本的速率最高提高2.1倍，况且不会对恢复质地酿成彰着亏空。更要津的是，当同期有好多用户在使用团结台AI办事器时，这个加快扫尾会变得愈加权贵——恰好对应了果真宇宙中AI办事最垂危的使用场景。

一、为什么"读完再说"会成为大问题

要贯串这套法子的价值，需要先剖判当代AI助手在处理长文本时究竟濒临怎样的算计挑战。刻下最主流的大型话语模子，其中枢算计机制叫作念"自珍眼力"（Softmax Self-Attention）。这个机制的职责神情，不错用一场相配额外的圆桌会议来类比：假定输入的每一个词齐是一位与会者，而"自珍眼力"条目每位与会者在发言之前，必须与会议室里通盘其他东说念主齐抓一次手，充分了解相互的关系，材干决定我方说什么。这意味着与会者越多，抓手总次数就会以平方倍数暴增。输入1000个词时需要100万次抓手，输入10000个词时则需要1亿次抓手——算计量呈爆炸式增长，恭候时候天然也随之急剧拉长。

面对这个问题，AI限制的究诘者们连年来开发出一批"混杂架构"模子，试图逼迫这种算计包袱。一类作念法是将部分"全体抓手"层替换成遵循更高的"线性轮回"层，让复杂度从平方级降回线性级；另一类作念法是让大多数层只与隔邻的邻居抓手，仅保留少数几个"全体抓手"的全局层来捕捉长距离信息。前者的代表是Qwen3-Next-80B-A3B这么的模子，后者的代表则是Gemma-3-12B。这些混杂设想大幅逼迫了表面算计量，并已被多家主流厂商用于坐褥级模子。

然而，现存的加快法子却有一个根人道的局限：它们简直清一色地聚焦于优化"全体抓手"这一步，关于其他类型的算计层不闻不问。以MInference、FlexPrefill、XAttention等代表性职责为例，它们通过识别珍眼力矩阵中疏淡的、不错跳过的部分来提速，在纯全珍眼力模子上如实能竣事惊东说念主的加快扫尾。但当这些法子被移植到混杂架构上时，问题就暴浮现来了：在一个四层轮回中只须一层是"全体抓手"层的模子里，即便把那一层的抓手加快到极致，其余三层的算计时候已经纹丝未动。就像一回包含飞机、火车和公路三段的远程旅程，你只优化了飞机这一段，对全体耗时的改善天然相配有限。实验数据也印证了这少许：在处理128K长度文本时，MInference在Gemma-3-12B上的加快倍数仅为1.03倍，简直莫得任何匡助。

与此同期，这些疏淡珍眼力法子还有另一个硬伤：它们与工业级推理引擎的中枢颐养机制不兼容。当代AI办事器使用一种叫作念"一语气批处理"（continuous batching）的政策来同期办事多个用户——不同用户的苦求被打包在一起处理，就像一辆公交车全部高下乘客，而非每次只送一位乘客。FlexPrefill之类的法子假定每次只处理一个固定的苦求，无法适合这种乘客随时高下车的动态场景，因此长久停留在究诘原型阶段，从未信得过干预坐褥环境。

二、藏书楼管制员的灵巧剪枝法

UniPrefill的中枢想路不错用前边那位藏书楼管制员的譬如来延迟贯串。这位管制员当今学灵巧了：在开动考究阅读之前，他先用一分钟快速扫一眼通盘书架，判断哪些区域压根和你的问题不要紧，然后径直跳过那些区域，只考究阅读信得过紧要的部分。更妙的是，一朝他决定跳过某个书架，这个决定对整栋藏书楼剩余的每一层楼齐见效——他不仅在刻下楼层跳过，后续通盘楼层也一样跳过阿谁书架。这么一来，省下的时候就不仅仅一层楼的扫描时候，而是通盘楼层重叠起来的省俭。

工夫层面，UniPrefill的运作神情分为三个紧密衔尾的体式。

第一步叫作念"紧要性揣度"。每当处理到一个包含"全体抓手"的层时，系统不会坐窝让通盘词之间齐相互算计，而是先只取输入序列末尾的一小部分词（默许取终末128个词）当作"发问者"，让这些发问者与序列中的通盘词作念一次快速抓手，得到一份初步的"紧要性分数"——即每个词关于生成下一个字来说大要有多紧要。这个操作的算计量远小于完好的全体抓手，因为发问者只占总词数的一小部分。

这里有一个值得突出证实的细节：UniPrefill的紧要性揣度与另一个广为东说念主知的法子SnapKV有名义上的相似之处，但两者的执行方针齐备不同。SnapKV在处理完通盘输入之后，才用这个评分来压缩后续生成阶段需要存储的缓存，并不减少处理输入时的算计量；而UniPrefill是在处理输入的过程中就运用这个评分来决定跳过哪些词，省俭的是当下正在进行的渊博算计，两者压根不在团结个时候点施展作用。

第二步叫作念"Top-p词块筛选"。系统将通盘输入序列按照固定大小（默许64个词一组）分红若干"词块"，并把刚才算出的紧要性分数在每个词块内取平均，得到每个词块的轮廓紧要性。然后，系统按照紧要性从高到低摆列这些词块，保留紧要性之和刚好达到总紧要性99%的最小词块鸠合，其余词块一律丢弃。

之是以收受"Top-p"而不是径直保留固定数目的词块（即"Top-k"），有其深入的统计原因。珍眼力的漫衍因文本内容而异：恐怕高度鸠合在少数几个要津词上，恐怕则均匀分散在渊博词语中。要是固定保留50个词块，在前一种情况下会保留渊博无关内容，在后一种情况下则可能丢掉紧要信息。而Top-p会自动适合：珍眼力鸠合时保留少，珍眼力分散时保留多，长久保证丢弃部分的珍眼力质地占比不跨越1%，形成一个严格的信息亏空上界。

此外，有两类词块岂论评分高低齐会被强制保留：序列最开首的128个词（这些词在珍眼力机制中饰演额外的"锚点"变装，AI究诘者将其称为"珍眼力千里淀"）和序列末尾的128个词（即刚才参与揣度的"发问者"自己）。

第三步叫作念"疏淡性跨层传播"。这是UniPrefill与通盘前代法子最执行的分别场所。被判定为不紧要而丢弃的词块，不仅在刻下这个"全体抓手"层被跳过，况且在刻下层之后的通盘层——岂论是线性轮回层、滑动窗口层，照旧前馈神经会聚层——齐被弥远性跳过，直到下一个"全体抓手"层从头作念一次评估为止。跳过的词的避讳现象被冻结在丢弃时刻的数值，不再参与任何算计，但会被保留住来传递给后续层，以便在需要时"回生"。

这个设想的算计收益是重叠的：假定某次丢弃操作保留了60%的词，那么后续每一个算计层齐只需要处理60%的词，省俭的算计量与后续层数成正比。在一个有几十层的深度模子中，这意味着早一层作念出丢弃决定，就能省下更多的算计资源。究诘团队的表面分析也讲明，在序列极长的情况下，UniPrefill能省俭的算计量与疏淡珍眼力法子能省俭的算计量之比，跟着序列长度的增长趋向无尽大——也即是说，文本越长，UniPrefill联系于疏淡珍眼力法子的上风越悬殊。

三、把这套逻辑塞进工业级办事器

算法设想再精妙，要是无法在果真的坐褥环境中运行，21点游戏官网也仅仅一纸空文。究诘团队在系统工程层面一样付出了渊博奋发，将UniPrefill深度集成进了面前工业界使用最粗浅的推理引擎vLLM。

率先，整套紧要性揣度和词块筛选的经过被竣事为四个紧密交融的GPU算计核（kernel），齐备在显卡上践诺，不需要在GPU和CPU之间往返传输数据。具体经过是：先算计末尾128个词与通盘词的珍眼力得分矩阵，然后用在线softmax算法对其归一化，接着在每个词块内作念空间团聚得到词块级别的分数向量，终末用一个排序加阈值的操作笃定保留哪些词块，生成一个二值掩码。

在处理多GPU并行算计时，不同的GPU各自只负责部分珍眼力头，因此每个GPU看到的紧要性分数仅仅一个局部视角。究诘团队的科罚有盘算是在作念筛选决定之前，先把通盘GPU的局部分数加总，得到全局分数，再作念长入的筛选。这么能确保通盘GPU关于哪些词块该留、哪些词块该丢，达成齐备一致的决定，幸免出现"张三留着第5号词块、李四却丢掉了第5号词块"这种芜乱场所。

更复杂的问题在于如何与vLLM的一语气批处理颐养器协同职责。vLLM会同期处理多个用户苦求，不同苦求被打包成一个批次，用一套长入的数据结构管制通盘词的位置信息、KV缓存（即AI存储已处理词的"记挂"）的物理地址、每个苦求的序列长度等等。当UniPrefill丢弃了某些词之后，这套数据结构中的每一项齐需要相应更新，不然后续算计就会出错。

究诘团队为此设想了考究的现象颐养机制。每次发生丢弃操作时，系统会记载下丢弃发生的层编号和丢弃后保留的词数，形成一份"丢弃历史账单"。在随后的生成阶段，AI需要回头查阅我方在处理输入时写下的"记挂"（KV缓存），此时系统会字据这份账单，告诉每一层它在处理输入时执行写入了几许条记挂——因为不同的层写入的记挂条数可能不同，全局珍眼力层和滑动窗口珍眼力层管制的缓存甚而相互落寞。这通盘过程不需要修改模子权重，也不需要改革vLLM底层的内存分派器，不错像一个透明的加快插件一样无缝镶嵌。

四、在果真测试中的施展究竟如何

究诘团队采取了一个名为RULER的长文本贯串基准测试来评估UniPrefill的质地，同期在vLLM框架内测量了执行的处理速率。RULER笼罩了检索、多跳推理、信息团聚、问答等多种任务类型，高下文长度从4K推广到128K，被以为是面前评估长文本AI材干最全面的测试之一。

在三个模子上，UniPrefill的施展齐彰着优于其他加快法子所能达到的最好精度-速率衡量点。以纯全珍眼力架构的LLaMA-3.1-8B为例，在128K高下文长度下，UniPrefill的RULER分数为79.87，与未加快的基准版块76.89比较甚而略有提高（这是因为保留了最紧要的词之后，珍眼力反而愈加聚焦），同期竣事了2.26倍的首字延迟裁减。比较之下，LazyLLM在一样长度下分数跌至49.71，精度亏空惨烈；MInference天然保住了78.21的分数，但加快倍数仅为1.34倍。

在混杂架构模子上，UniPrefill的上风愈加杰出。关于Qwen3-Next-80B-A3B（线性与全珍眼力以3:1混杂），MInference在128K上的加快倍数只须1.05倍，而UniPrefill达到了1.68倍。关于Gemma-3-12B（滑动窗口与全珍眼力以5:1混杂），MInference的加快倍数仅1.03倍，UniPrefill则达到1.49倍。这印证了究诘团队的中枢判断：当全珍眼力层在模子中的占比越来越小时，只优化珍眼力层的法子效益越来越差，而UniPrefill的跨层疏淡传播机制让它在这些场景下仍然有用。

在vLLM内的微辞量测试则展示了另一个维度的加快效益。单用户使用128K文本时，LLaMA-3.1-8B的处理微辞量从21013个词每秒提高到43672个词每秒，提高幅度达107%。当同期有16个用户时，提高幅度进一步扩大到109%。Qwen3-Next-80B-A3B在128K单用户场景下提高48%，16用户场景下提高68%。Gemma-3-12B的提高幅度相对较小，128K单用户42%，这与它的架构中全珍眼力层占比最低（仅六分之一）径直关系。

一个略显反直观的景观是，在极短的文本（4K）和极小的批次（单用户）下，Qwen3-Next-80B-A3B的微辞量反而下落了3%到5%。究诘团队对此的解释是：在极漫笔本中，简直莫得什么词块能被信得过丢弃，紧要性揣度自己的算计支拨反而成为了稀少包袱。这证实UniPrefill的上风区间主要在长文本和多用户并发场景下——而这恰好是坐褥环境中最常见、最蹙迫的情形。

五、微调参数时的规章与弃取

究诘团队还系统地测试了两个要津超参数对性能的影响，提供了收受它们时的直不雅依据。

词块大小G扫尾了丢弃操作的粒度，不错贯串为藏书楼管制员每次跳过的最小单元是"一层书架"照旧"一转书架"。G=64（默许值）是精度与速率之间的均衡点。G=32（更考究）能让管制员跳过更小的单元，在长文本下丢掉更多不紧要的内容，但判断自己的算计支拨也更大；G=128（更粗粒度）符合漫笔本，判断快但生动性低。实验数据炫耀，G=32在LLaMA-3.1-8B的128K场景下能达到121%的微辞量提高，代价是4K场景下精度从96.53略降至93.42。

末尾查询数目n决定了紧要性揣度时"发问者"的数目。n过少时（n=32），用于揣度的样本太少，揣度扫尾方差大，容易误判紧要性，RULER平平分从90.45下滑至87.77。n过多时（n=512），揣度精度提高但算计支拨也随之加多。n=128在精度与支拨之间达到最优，成为默许斥地。

说到底，UniPrefill作念的事情并不复杂：它让AI在考究处理输入之前，先作念一次快速的"紧要性预扫描"，然后在接下来的每一层算计中，齐只处理那些真恰巧得关爱的部分。这个想路的奥密之处在于，它绕开了"只可加快珍眼力层"的局限，把一次判断的收益扩散到了通盘模子的通盘层，在混杂架构模子上已经奏效。而通过与vLLM的深度集成，这套法子得以在果真的多用户办事场景中执走运行，而非停留在实验室阶段。

关于普通用户而言，这意味着夙昔使用AI处理长篇文档时，恭候第一个字出现的时候有望裁减一半甚而更多，尤其是在办事器勤苦、同期有好多东说念主在使用的时候。关于AI办事提供商而言，一样的硬件资源不错办事更多用户，或者在不加多办事器的前提下支柱更长的输入文本。

天然，这项究诘也坦承我方的范围：UniPrefill面前专注于"读入阶段"的加快，关于AI生成每一个字的"输出阶段"，以及模子考研自己的遵循，面前尚未触及，究诘团队将其列为夙昔的探索主义。有兴味深入了解工夫细节的读者，不错通过arXiv编号2605.06221查阅完好论文，代码已在GitHub开源。

Q&A

Q1：UniPrefill是如何决定哪些词不错被跳过的？

A：UniPrefill在每个全珍眼力层处，先用序列末尾的128个词快速扫描通盘输入，为每个词块打出一个紧要性分数，然后保留紧要性之和达到99%的最小词块鸠合，其余全部跳过。序列开首的128个词和末尾的128个词岂论分数高低齐会被强制保留。

Q2：UniPrefill加快长文本处迎接不会让AI的恢复质地变差？

A：在RULER长文本基准测试中，UniPrefill与不加快的基准版块比较，精度亏空极小，部分情况下甚而略有提高。比较之下，LazyLLM和SlimInfer等其他加快法子在同等加快比下会出现彰着的精度下落。

Q3：UniPrefill对混杂架构模子（比如Qwen3或Gemma-3）有用吗？

A：有用，况且这恰是UniPrefill的中枢上风场所。由于UniPrefill会将丢弃决定传播到全珍眼力层之后的通盘层（包括线性层、滑动窗口层和前馈层）21点游戏官网，它在混杂架构上已经能获取可不雅的加快，而纯疏淡珍眼力法子在这类模子上加快扫尾经常不及1.1倍。