温馨提示：若页面不能正常显示数学公式和代码，请获得更好的阅读体验。
作者： 丁闪闪 (连享会)
邮箱：
系列说明：本文是「AI我知道」系列推文的第一篇，面向经管、金融、社会学领域的研究者和学生。我们的目标不是把你训练成 AI 工程师，而是帮你建立足够扎实的概念框架，让你能更聪明地使用这些工具，并在研究和工作中做出有依据的判断。
- Title: AI我知道：AI 怎么读懂你的话？Token、上下文窗口与提示词
- Keywords: 大语言模型, ChatGPT, Claude code, 词元, Gemini, AI基本概念
使用大模型时，大家或许都有这样的感受：同样一个问题，有时 AI 的回答像是一位专业人士；有时却像是超市的推销员。更让人困惑的是：明明只是多贴了几页材料，速度变慢了，费用变高了，答案却未必更好。
这背后并不神秘。对普通用户来说，最值得先理解的，不是模型参数有多大，而是三个更贴近日常使用的概念：Token、上下文窗口 和 提示词（Prompt）。这三个概念几乎直接决定了三件事：AI 能看进去多少内容，会优先关注什么，以及你要为这次交互付出多少时间和成本。
1.1 什么是 Token？
人类读文章，通常按字、词、句、段来理解；模型处理文本时，用的却是另一套更底层的单位：Token。
可以把 Token 想成一块块积木。我们看到的是一整段文字，模型看到的则是一串被切分后的符号序列。一个 Token 可能是一个完整单词，也可能只是词根、标点、空格，或者中文文本中的一个字、半个词、甚至某种中英文混排片段。也就是说，Token 并不等于“一个字”或“一个词”。
这件事为什么重要？因为很多模型服务，本质上都是按 Token 计费的。你发给模型的输入会占用输入 Token，模型回复给你的内容会占用输出 Token。输入越长、输出越多，通常成本越高，等待也越久。
如果用一个很粗略但很有用的公式来表示：
Cost≈pin⋅Tin+pout⋅ToutCost≈pin⋅Tin+pout⋅Tout
其中，TinTin 表示输入 Token 数，ToutTout 表示输出 Token 数，pinpin 和 poutpout 则分别表示输入和输出的单位价格。这个公式不需要精确到小数点，它的作用只是帮助你建立一个基本直觉：同样的问题，如果材料更长、格式更乱、要求输出更详细，通常就会更贵。
1.2 各类文本大约会占多少 Token？
下面这些数字更适合拿来建立直觉，而不是当成严格换算公式：
注：前四行是经验估计，不同模型、不同 tokenizer、不同语言混排方式都会带来差异。对中文文本，可以把它理解为：字数与 Token 数通常接近，但经常偏高；对版式复杂、表格密集、脚注很多的文档，Token 消耗往往会明显上升。
图 1：同一段文字在模型内部会被切分成 Token 序列。对普通用户来说，更重要的不是记住精确换算规则，而是建立“文本越长、格式越复杂、Token 通常越多”的直觉。
2.1 什么是上下文窗口？
如果说 Token 是模型处理语言的最小单位，那么 上下文窗口（Context Window） 就是模型在当前一次交互中，最多能同时“摆在桌面上”的总内容量。
我更愿意把它比作一张有限大小的工作台，而不是“无限记忆宫殿”。系统提示、聊天历史、你刚输入的问题、上传的文档、模型已经写出的回答，都会一起占用这张工作台。桌面越满，新的内容就越难继续塞进去；即便塞进去了，也不等于每个细节都会被同样认真地注意到。
这也解释了几个常见现象：
- 聊天轮次太多之后，模型会“忘记”前面说过的话；
- 你贴进一份过长的材料时，模型可能只处理其中一部分；
- 同一个模型在新对话里，并不会自动记得上一段对话的全部细节。
温馨提示：若页面不能正常显示数学公式和代码，请获得更好的阅读体验。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/279543.html