AI也会“作弊”？谷歌Meta被曝刷榜，Gemini分数暴跌70分

如果一场考试，考生提前拿到了标准答案，那他考出的满分还有意义吗？最近，人工智能圈就上演了这样一场“考场风波”：谷歌和Meta两家科技巨头被指在大模型评测中“刷榜”，谷歌的明星模型Gemini重新评测后分数暴跌70分，原本稳居前两名的位置也保不住了。 先说清楚背景。大模型，就是Gemini、ChatGPT这类能聊天、写代码、解数学题的“人工智能大脑”。那么，怎么判断谁更聪明？行业的通行做法是“考试”——给模型出一套标准题，业内叫“基准测试”，题目涵盖数学、编程、阅读理解等等。谁答对得多，谁就在排行榜上排得靠前。对普通用户来说，排行榜是选工具的“大众点评”；对公司来说，它则是最响亮的广告牌。 这次的麻烦，恰恰出在“考卷”上。有人发现，个别模型的成绩好得不太自然。顺着线索追查，问题指向一个专业名词——“数据污染”。简单说，就是本该严格保密的测试题和答案，不知通过什么渠道混进了模型的训练资料里。模型在“学习”阶段早就见过这些题，正式考试时自然答得又快又准。这就像老师还没发卷，答案已经躺在你书包里了。 而当评测者把可能被污染的题目剔除、或者换上一套全新的题目重新测试后，Gemini的分数一下子掉了70分，排名也随之从Top 2滑落。70分是什么概念？在高手云集的榜单上，往往一两分之差就是好几个名次，70分几乎是“换了一个人”。 那么，为什么会有公司愿意冒这个险？答案藏在竞争里。近两年，全球AI竞赛进入白热化，谁在榜单上多拿几分，谁就更容易被媒体报道、被投资人看中、被用户下载。排行榜从“检验工具”变成了“营销工具”。这里有个著名的规律，叫“古德哈特定律”：当一个指标变成目标，它就不再是一个好的指标。英国经济学家查尔斯·古德哈特在1975年提出这个说法时，谈的是货币政策；如今它却在AI圈反复应验。 不过，这件事也有很多角度值得琢磨。第一，评测本身就有局限。一套固定题目，考不出模型做行程规划、安慰朋友、理解冷笑话的能力，分数高不等于样样行。第二，不能因为刷榜风波就把技术一棍子打死。Gemini和Meta的模型在真实的写代码、查资料任务中依然有实际用处，出问题的是“怎么考”，而不是“能不能用”。第三，这件事最大的损失其实是信任。榜单一旦被污染，公众对整个评测体系的信心都会打折，重建信任远比修分数难得多。 所以，行业的出路也许在于：让题库动态更新、保留一部分从不公开的“神秘考题”，并引入与厂商没有利益关系的第三方来独立评测。 对我们来说，这则新闻还有一层特别的意义。刷题确实能提高分数，但只有真正理解，知识才属于自己。分数是尺子，不是终点。当然，也别走到另一个极端——因为分数可能被造假，就彻底否定考试的价值，毕竟它仍是成本较低、相对公平的检验方式。 最后留一个问题给你：如果连AI的分数都能被“美化”，那我们在网上看到的各种排名、榜单和“第一”，是不是也该多问一句——这个分数，到底是怎么来的？