我们给AI出的考试，可能全错了

这周我读到两份完全不相干的报告，一份来自技术圈，一份来自产业界。它们讲的事情表面上八竿子打不着，但放在一起看，我觉得它们其实在说同一件让人心里发凉的事。

先说第一份。

Moonshot，就是做Kimi的那家公司，发布了一个新的视觉感知基准，叫PerceptionBench。基准这个东西你可以理解成给AI出的一套标准化考卷，用来测它到底行不行。市面上这类考卷已经有几十套了，跑分刷得一个比一个高，动不动就是「超越人类」「碾压GPT」。

但PerceptionBench的做法很不一样。它不自己凭空出题，而是跑去把已有的40多套基准里，那些模型真实答错了的题，一道一道捞出来，归纳成10项最基础的视觉感知能力，配了3000道验证题。说得直白点，这是一套专门收集「AI栽过跟头的地方」拼成的考卷。

结果出来，所有被测模型的准确率都没超过60%。

这个数字已经够难看了。但真正值得琢磨的是另一个发现，很多模型「答对」的题，你重复问一遍，它就答不对了。

你品品这件事的分量。同一道题，同一张图，第一次问它蒙对了，第二次问它又错了。这说明什么？说明它压根不是「看懂了」，它是在猜。猜对一次不代表它真会，换个问法、隔一会儿再问，原形毕露。

我一下子想起小时候考试蒙选择题的自己。四个选项，我不会，闭着眼睛选了个C，居然对了。老师在讲台上表扬我这道难题都做对了，可我心里清楚得很，我根本不知道为什么是C。AI现在干的，就是把这种蒙对，规模化了几十亿次。

它在你的考卷分布里，学会了怎么押中答案。但它没有真的理解那张图里发生了什么。

这就是第一份报告扎心的地方。我们一直以为跑分越高代表AI越强，可PerceptionBench撕开了一道口子，它告诉你，那些光鲜的分数背后，藏着大量的「假装看懂」。模型不是在感知世界，它是在应试。

好，我们把这份报告先放一边，来看第二份。这份来自VentureBeat，调查的是真实企业怎么用AI。

数据比上面那份更吓人。

他们问了157家公司。结果是，整整一半的企业，把「已经通过了内部评估」的AI Agent部署到生产环境之后，害客户翻了车。测试的时候好好的，一上线就出事。

只有5%的企业说，他们完全信任自己那套自动化评估。剩下95%，心里都打鼓。而当被问到最大的问题是什么，最多人选的答案是，评估结果和现实对不上。不是测得太慢，也不是测得太贵，而是考了高分的AI，一放到真实场景里就不灵了。

看到这我反倒不意外了。因为这跟第一份报告，简直是一个模子刻出来的。

PerceptionBench说的是，模型在考卷上假装看懂了。企业评估说的是，Agent在测试里假装能干活了。一个是技术侧的观察，一个是产业侧的血泪，但它们指向的是同一个病灶，AI学会了应付考试，而不是真的具备能力。

如果故事到这里就结束，那顶多算个技术八卦，提醒大家别太信跑分。但这份企业报告真正扎人的，是它后半段揭示的那个走向。

你猜，明知道测试不可信，企业是踩刹车了，还是踩油门了？

踩油门了。而且踩到底。

报告里写，尽管信任度低到只有5%，仍然有66%的企业，正打算在未来一年里，让AI Agent靠自动评估直接上线，不要任何人工把关。他们明知道这套考试判分不准，却还是决定把判卷子的权力，整个交给这套考试本身。

更荒诞的是，公司越大跑得越快。2500人以上的大企业，有70%在往「零人工审核」冲，比小公司还激进。而这批大企业，恰恰也是翻车率最高的，54%都栽过跟头，比小公司的48%还高。

报告给这个现象起了个特别精准的名字，叫评估缺口。意思是，企业给AI的自主权，涨得比它们对测试的信任还要快。一边是「我不太信这套测试」，一边是「但我还是要让它自己决定上不上线」。这两件事同时发生在同一批人身上。

我一直没想明白，这到底是一种什么样的心态。

后来我想明白了。这不是愚蠢，这是一场心照不宣的集体赌博。每个人都知道脚下有坑，但只要别人在往前冲，你停下来就意味着掉队，于是所有人闭着眼睛一起往前跑。 竞争的压力压过了对风险的敬畏。你不上，你的对手上，你就输了。至于会不会翻车，那是上线之后的事，是运气问题，不是现在要考虑的问题。

这种心态其实我们都不陌生。它就是每一次泡沫、每一次踩踏的底层剧本。只不过这一次，冲进去的不是人，是一个我们自己都还没搞懂的东西。

聊到这我想往深里再走一步。为什么会这样？为什么我们造出了这么强的AI，却连它到底会不会都测不准？

问题的根子，在于「考试」这个方法本身，正在失效。

人类发明考试，是因为我们没法直接钻进一个人的脑子里，看他到底懂不懂。所以我们退而求其次，出一些题，用答对的比例去推断他的能力。这套办法用在人身上，大体是靠谱的，因为人很难在完全不理解的情况下，持续地把一整套题都蒙对。理解和答对，在人身上是强相关的。

但AI不一样。AI是一台专门优化「答对」这个目标的机器。你给它什么考卷，它就往哪个方向进化。你用某套基准训练它、评估它，它就会长成最擅长做那套基准的样子。理解和答对，在AI身上被硬生生地掰开了。它可以做到答对率极高，同时理解率极低，这在人类身上几乎不可能，在AI身上却是常态。

这就是为什么PerceptionBench要专门去收集「模型失败的案例」，因为常规考卷早就被AI摸透了，测不出真东西了。这也是为什么企业的评估会失灵，因为你在办公室里设计的测试场景，永远只是真实世界的一个很小的子集，而AI恰好只在你测过的那个子集里表现良好。

我们手里的尺子，正在被我们要测量的东西反向利用。

想到这，我觉得这件事对每个普通人，都有一个特别具体的启示。

以后你再看到任何AI的跑分、任何「超越人类专家」的宣传、任何「准确率99%」的截图，请你在心里默默加一个问号。不是说它一定在骗你，而是你要问一句，这个分数，是在多大的范围里测出来的？换个场景、换个问法，它还成立吗？

因为高分和好用，已经是两件事了。一个Agent在demo里跑得再漂亮，都不代表它能扛住你真实业务里那些乱七八糟的边界情况。一个模型在基准上刷得再高，都不代表它真的看懂了你给它的那张图。

这跟我上周聊AI安全时的那个感受，其实是连着的。当技术强大到能模拟一切、能应付一切考试的时候，验证的价值就超过了信任的价值。你不能再相信任何东西的表面价值，包括一个漂亮的分数。你得自己去验证它在你的场景里到底行不行，用你自己的数据，用你自己的边界情况。

说到底，我们正处在一个很尴尬的时刻。AI的能力在飞速增长，这是真的。但我们测量这种能力的手段，已经严重落后了。我们造出了一个越来越聪明的学生，却还在用一套它早就学会怎么作弊的考卷去给它打分。然后我们拿着这个分数，一脸放心地把越来越重要的事情交给它。

分数还在涨，但分数的可信度在跌。这中间的裂缝，就是我们此刻最容易踩空的地方。

我不是要唱衰AI。恰恰相反，正因为我每天都在用它、都在依赖它，我才更希望我们能诚实地面对一件事，我们对它的了解，比我们以为的要少得多。承认这一点，不丢人。真正危险的，是明明测不准，却假装一切尽在掌握。

那些通过了测试却害客户翻车的Agent，那些重复问一遍就答错的模型，还有那些被合成语音骗走积蓄的普通人，它们背后是同一句话，你以为你验证过了，其实你只是被表面骗过了。

考试没错，错的是我们太相信考试了。当一个学生足够聪明，聪明到能看穿任何一套考卷的套路，那考卷就不再能证明他什么了。这时候，唯一靠谱的办法，是把他扔进真实的世界，看他到底能不能活下来。

AI现在，正被我们成批成批地扔进真实世界。而我们手里那张写满高分的成绩单，可能一个字都当不得真。

谢谢你看我的文章，我们，下次再见。

/ 作者：青玉白露

延伸阅读

• FDE：AI行业给自己开的一张病历诊断书：FDE岗位招聘量一年暴涨729%，这不只是一个新岗位的走红，而是AI行业集体承认了一个事实：模型不是答案，落地才是。
• 给 AI 注入品味：当编码工具性能趋同，审美成了新战场：Emil Kowalski把十年前端经验打包成Skill文件注入AI编码工具、Kimi K2.7成为GitHub Copilot首个开源权重模型、Senior SWE-Bench评估高级工程师任务——当性能不再是瓶颈的时候，品味就成了新的战场。
• Agent 嵌入一切：从支付宝到群聊，AI 正在吞噬 App：支付宝阿宝开放公测、Skywork Tags让Agent加入工作群聊、千问Agent工程方法论——三件事串在一起看，2026下半年Agent的主旋律已经很清楚了：Agent的终局不是做一个新App，而是消失在你已有的工作流和生活流里。
• Grok Build开源，是慷慨还是灭火？：xAI把Grok Build开源了，但五天前它刚被抓到偷偷上传用户全部代码。这是慷慨，还是灭火？AI编程工具的信任危机才刚刚开始。