中国税务 2026年 第6期
文化长廊
做好“上下文压缩” 跳出“忙而浅”泥潭
上一篇 下一篇
在AI 大模型领域中，有一个关键概念叫“上下文窗口”，指的是模型在生成回答时考虑的Token（词元）数量。这个概念决定了模型能够捕捉信息的范围。简单来说，这是模型在生成回答时能够“记住”并参考的信息量上限——窗口越大，模型能同时处理的信息就越多，计算成本也越高，但如果窗口里塞满了无关紧要的噪音，模型的回答质量就会下降。
基于上述原因，高效的AI 会不断对上下文进行压缩，提取核心信息，丢弃冗余内容，把长对话或复杂问题归纳为关键结论。这不是偷懒，而是提升精度的必要手段。