斯坦福和 UC Berkeley 研究者发布 TokenGate，一种给现有 LLM 加上可学习 token 剪枝的模块，在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速，峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。 🔗 阅读原文 via AIHOT · https://aihot.news/items/b9a13c9a3uxo2qe2bwud0e129
信息源：AI HOT · 全部动态
- 原文链接：斯坦福与 UC Berkeley 推出 TokenGate：token 门控注意力让长上下文 prefill 最快提升 11.3 倍
- 分类：论文
- 作者：MarkTechPost
- 发布时间：2026/10/25 20:12
评论0