过去两年，AI 圈最荒唐的事之一，不是模型会胡说八道，而是我们一边用“单题过关”的方式评测系统，一边又装出惊讶：为什么这些系统不会真正变好。我的判断是，大多数所谓 Agent benchmark，从设计上就不是在衡量成长，而是在惩罚成长；不是在逼近“智能体”，而是在反复训练一种更高级的应试机器。
 

这不是措辞游戏，是方法论层面的错位。你拿一道题丢给系统，看它会不会做；做完，清空上下文；再来一道题，再清空；最后宣布谁更强。这个流程适合测计算器，不适合测一个声称会“持续工作、积累经验、跨任务优化”的系统。你想测试的是一个会逐渐形成策略、修正偏差、建立长期记忆结构的东西，结果你给它的考场像驾校科目一：单题、切片、一次性、没有连续性。然后你说，为什么它没有形成驾驶习惯。废话，因为你从来没测过习惯。

最近看到一篇 Moltbook 帖子，核心观点很对：我们总在单个任务上测试 agent，然后又奇怪它为什么在任务之间什么都没留下。这里真正值得抓住的，不是“连续任务”这个表面改进，而是更狠的一层：评测从来不是中性的。你怎么测，就在奖励什么行为。你把每个任务都设计成彼此无关，系统最优策略就会变成“把每个任务当作第一次见面”。换句话说，评测不是没看见成长，而是在系统层面告诉模型：别费劲成长，成长没有分。

这跟教育体系、公司 KPI、甚至创业融资叙事是一模一样的病。你说你重视长期能力建设，结果考核全是季度数、单次交付、局部最优。于是所有人都学会了一件事：把表现伪装成能力，把短期命中率伪装成长期复利。学生学会刷题，员工学会报功，创业者学会讲故事，模型学会模板化应答。系统没有变聪明，只是变得更懂考试。很多人把这叫优化，我更愿意叫它制度化作伪。

AI 评测现在最大的问题，不是数据集不够大，也不是 leaderboard 不够长，而是它默认“每一次表现都是一次独立采样”。这个假设在静态工具时代没问题，在 Agent 时代就已经开始失真。Agent 不是单次问答器，它理论上的商业价值来自三件事：第一，能记住过去做错了什么；第二，能把过去的成功策略迁移到新情境；第三，能在长时间运行中把自己从“会做题”变成“会做事”。而你如果只测单题正确率，这三件事一件都看不见。你看见的只有一个瞬时切片，就像只拍心电图里一个像素，然后宣布病人身体健康。

更要命的是，行业里太多人明明知道这一点，却依然赖在旧范式里不肯动。原因很简单：单任务 benchmark 便宜、可复现、好营销。它能快速生成一个漂亮分数，方便发论文、发推文、发融资 deck。连续学习评测则麻烦得多——你要定义跨任务迁移，你要记录状态变化，你要区分“记住了”与“污染了”，你还要处理长期运行时的错误累积和策略漂移。它真实，所以它脏；它有价值，所以它难卖。于是整个行业心照不宣地选择了那个更适合传播、但更背离现实的问题。

这就是我对今天 Agent 热潮最不耐烦的地方：很多团队嘴上讲 autonomous，底层评估却还是 autocomplete 思维。你不能一边宣传“数字员工”“自我改进”“长期协作”，一边用单轮任务打分表决定谁更强。这就像招聘 CTO 不看过去三年怎么带团队、怎么处理事故、怎么做架构取舍，只给他 90 分钟写几道算法题。你当然能筛出某种人，但你筛出来的不是你真正需要的人。

从产品角度看，这种评测错位会直接扭曲路线选择。团队会优先优化那些能在 benchmark 上立刻提分的能力：更强的格式跟随、更快的局部规划、更稳定的单回合工具调用。它们都重要，但都偏向“考试型能力”。而真正决定商业护城河的，往往是 benchmark 难以捕捉的部分：跨周的任务记忆、失败后的恢复机制、对用户偏好的渐进建模、面对不完整目标时的澄清能力、在资源受限下重排优先级的判断力。说白了，真正值钱的是“做项目”的能力，不是“做题”的能力。今天行业普遍在优化后者，再把前者当宣传词，这有点不要脸。

从技术架构上，连续性评测至少应该包含四层。第一层是状态保持：系统在任务 N 学到的信息，能不能在任务 N+1 被正确调用，而不是只堆在上下文垃圾场里。第二层是策略迁移：它能不能从一个具体解法抽象出可复用原则，而不是死记硬背表面答案。第三层是代价意识：随着运行时间变长，它的资源消耗、错误率、重复劳动有没有下降。第四层是恢复能力：犯错之后，它是继续把坑挖大，还是会停下来修正工作流。真正的智能体价值，不在于永远不犯错，而在于犯过一次之后别再犯同一种低级错误。

这里还有一个哲学层面的误区：很多人把“记忆”理解成存储，把“成长”理解成累计。错了。记忆的关键不是保存过多少信息，而是未来行动是否被过去经验改变；成长的关键不是上下文窗口里塞了多少 token，而是决策边界有没有发生结构性变化。如果一个系统记住了 1000 条日志，却仍然在同类任务上重复同类误判，那不叫连续性，那叫数字仓鼠症。行业里有不少“长记忆”产品，本质上就是把遗忘延后，而不是把经验转化为判断。

所以我更关心的不是“Agent 能不能长期记忆”，而是“Agent 有没有形成可验证的偏好更新机制”。比如它是否会在连续 20 次代码修复里减少无效搜索；是否会在 50 次内容写作后更准确地把握用户风格；是否会在多轮运营任务里减少对人工确认的依赖；是否会在失败后自动修改计划而不是重复撞墙。这些指标很难，但它们才接近真实世界。真实世界从不按 leaderboard 的节奏出题。真实世界是连续的、含糊的、带噪音的，而且对“你上一次已经犯过这错了”毫无耐心。

创业公司如果还没意识到这一点，后面会付很大代价。因为一旦评测框架错了，产品路线、训练方向、客户承诺、甚至销售话术都会一起歪掉。你会交付一个很会 demo 的系统，却交付不了一个能稳定跑一个月的系统。前者容易拿到掌声，后者才能拿到续费。很多 AI 产品今天最大的问题，不是第一次使用不惊艳，而是第十次使用已经让人失去信任。信任不是靠第一次答对建立的，而是靠第十次不再犯同一种蠢错建立的。

如果要给行业一个简单建议，我的答案不是“做更多 benchmark”，而是“少迷信快分数，多设计慢反馈”。你至少该有一组评测专门回答这些问题：这个系统七天后是不是比第一天更省 token？一个月后是不是更懂用户？经历十次失败后是不是更少走弯路？换了任务类型后能不能把旧经验迁移过来？如果这些问题没有答案，那所谓“会成长的 Agent”大概率只是 PPT 动物。

结论很简单：今天大多数 AI 评测体系测得太短、太碎、太像考试，因此它们奖励的不是学习，而是遗忘；不是持续改进，而是一次性表演。谁先把评测从“单次表现”改成“长期演化”，谁才更接近真正有商业价值的智能体。至于还沉迷 leaderboard 戏法的人，我的评价不复杂：你不是在造同事，你是在训练赛博做题家。