长上下文是多数开放模型悄悄翻车的地方。阿里通义千问团队把它当作一道工程题来解——而且没有要求更大的显卡。
百万词元的难题
一百万词元的上下文，约等于十本长篇小说、150 小时演讲，或 3 万行代码装进一个提示词。多数开放模型上限是 12.8 万词元；再往长推，注意力就会崩，因为训练时模型从未见过词元之间如此远的距离。最朴素的办法——用更长序列训练——算力代价高得吓人。
通义的路线不同。团队先把 Qwen2.5 从 4K 上下文逐步训到 256K，并将 RoPE 基础频率从 1 万提到 1000 万，以稳定长距离位置信号。随后为触及 1M，他们采用 Dual Chunk Attention（双块注意力，DCA）：把查询与键之间过大的相对距离重新映射成较小的熟悉值，使模型能泛化到从未训练过的长度，且无需额外训练。
速度才是真正瓶颈
百万词元若首响要十分钟就毫无意义。通义团队在 vLLM 之上构建了推理框架，加入基于 Minference 的稀疏注意力、分块预填充与长度外推优化。公司称，在不同模型大小与显卡上，百万词元输入的预填充速度提升 3.2 至 6.7 倍。该开放框架本身已发布在 GitHub，任何人都能复现部署。
在百万词元长度的「大海捞针」测试中，Qwen2.5-1M 模型准确检索出隐藏信息，仅 7B 模型出现少量错误。在 RULER、LV-Eval 等更难的长上下文评测上，14B-Instruct-1M 同时击败自家的闭源 Qwen2.5-Turbo 与 OpenAI 的 GPT-4o-mini。
开放权重成为默认项
Qwen2.5 于 2024 年 9 月发布，提供从 0.5B 到 72B 的宽尺寸阶梯，多数采用 Apache 2.0 许可；Qwen3 于 2025 年 4 月跟进。1M 模型延续这一理念：权重放在 Hugging Face 与 ModelScope，配套开放服务栈，同时提供托管 Turbo 选项给不愿自运维者。实际效果是，开发者可先在本地用 7B-1M 开放模型做原型，再扩到 14B 或调用 API——无需更换框架。
这种一致性是通义安静的竞争力。不少实验室只放一个炫目模型；通义放出的是一整条阶梯、保持宽松许可、并维护工具链，而这正是把「下载」变成「部署」的关键。
诚实的局限
1M 上下文、DCA 方法与提速数字来自阿里通义官方博客与阿里集团公告，我们未独立重跑基准。「3 至 7 倍提速」横跨不同硬件与模型大小，实际表现随显卡与序列组合而异。长上下文准确率在与检索演示不同的任务上会下降；百万上下文不等于模型能对所有内容都推理得好——注意力是必要条件，而非充分条件。许可方面多数尺寸为 Apache 2.0，但并非全部，需按具体检查点核对。
普通人现在能做什么
- 对文档级或代码仓库级任务，先测 Qwen2.5-14B-Instruct-1M，再考虑远更大的闭源模型——它在长上下文评测上常能持平甚至超过 GPT-4o-mini。
- 若自托管，用开放的稀疏注意力框架而非原版引擎；预填充提速决定了 1M 词元下「能用」与「不可用」的差别。
- 始终按检查点查看许可；「开放权重通义」并非单一许可，3B 与 72B 尺寸比其余尺寸条款更严。