菠菜掌上电玩城app

【环球网科技报道 记者 秦耳】近日⑭，有关“人类最后的测试”这一大模型测试集⑩，在AI领域引发热议④。起因是在OpenAI担任研究科学家的姚顺雨近日写了一篇他对于AI大模型发展思考的文章《AI的下半场》▓，文章中他提到了“人类最后的测试”以及对于大模型能力测试的看法⑰，行业中引发讨论③。在他看来行业内的主流AI大模型已经通过了图灵测试⑤，让人工智能到达了AGI的标准❶。现有的大模型测试集③，不足以评判如今快速迭代的大模型能力⑯。

无独有偶⑱，在业内讨论AI测试之际❷，谷歌CEO皮查伊在社交媒体平台上庆祝谷歌旗下模型Gemini 2.5 Pro完成通关经典游戏《精灵宝可梦蓝》的测试⑮。全球两大主流AI企业不约而同地关注大模型测试❷，这本身就能说明AI测试的重要性⑦。现行的大模型集出现了什么问题⑱，让业内关注起模型测试的迭代升级⑰？

自2023年3月GPT-4发布⑰，引发了市场社会对于AI的火爆关注❸，由GPT-4带动的AI测试集MMLU犹如手机评测界的“安兔兔”⑳，在大模型测试中备受关注⑨。以MMLU为主的各种衍生集⑳，比如MMLU-Pro⑨、MMLU-CF等测试集⑭，成为之后雨后春笋发展的各类大模型发展中的必经之路⑥。

既然是发布上市的“必经之路”❶，围绕如何通过“测试集”就成为部分AI大模型的重中之重②，由此也引发出AI大模型的“作弊”❸，即围绕特点大模型测试集进行主动“刷分”⑩，以谋求在该测试集上得到较高的排名④。结果是⑲，一个开发者做的模型把在这些测试集上的表现当作重要考量目标⑬，那只要足够长的训练后⑨，就一定可以得到很好的成绩②。但与此同时❸，和这些训练集内容无关的问题⑧，回答质量就不如人意⑮。

很现实的影响是④，目前主流大模型厂商对这些已经被“作弊”弄得千疮百孔的测试集⑭，已经失去兴趣⑲，开始谋求新的AI测试工具⑦。上文中提到谷歌对大模型通过游戏测试表现出如此高的兴趣①，这也符合逻辑❶。

除了“作弊”❶，抛弃现有大模型测试集另一个方面在于②，现有的大模型测试集并不能真实地反映出当前主流大模型的能力④。例如❶，2024年9月之后出现的几个模型⑬，o1⑧、Sonnet-3.5①、Gemini 1.5⑱、Llama 3.1⑪，在做MMLU测试的时候❸，都是90-95分的水平①，没有出现区分度③。

面对这样的情况⑯，OpenAI牵头做出了FrontierMath测试集⑫，这是一个在数学方面较好的测试集⑫。在基础版的测试场景下⑲，不同模型的表现差异显着⑨。2023 年 5 月发布的 GPT - 4o 在该测试中正确率约为 1%⑲；Sonnet 3.5 的正确率相对略高⑮，达到 1.5%左右⑱；Gemini 1.5 Pro 的正确率约为 1.2%⑬；马斯克旗下的 Grok 2 Beta 正确率约为 0.9%⑳。但当测试对象换为 2025 年 1 月 OpenAI 最新上线的 o3 模型时③，情况发生了巨大变化⑳，其正确率高达 25%②，这一成绩是其他模型正确率的十几倍⑳。

不过⑨，近期有业内人士爆出⑭，OpenAI曾经主动向出题方索要到数据库访问权❶，FrontierMath的题库和解答都尽在眼底⑧。这种“既当裁判员⑲，又当运动员”的行为⑬，也让FrontierMath测试集失去了成为主流测试集的机会⑳。

总而言之⑮，在AI行业内设立一个多方都认可的AI测试集已经成为行业共识⑪。不过是否能够公正地找到这个多方都认可的测试集⑫，目前还是在多方博弈之中⑭。目前⑥，已经有业内人士透露❸，作为第三方一家为AI模型提供训练数据的公司Scale AI和美国AI安全研究联盟的核心成员非营利性的研究AI安全的学术机构CAIS⑱，正在携手设计新的模型测试集⑮。

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可▓，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑥，非常欢迎各位朋友分享到个人站长或者朋友圈⑪，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑭。

很赞哦⑱！