您现在的位置是： 网站首页>体育体育

电玩城破解版游戏

邵凝天 2025-05-14 【体育】 9749 人已围观

新智元报道⑲、【新智元导读】OpenAI发布新基准HealthBench③，联手60个国家262名执业医生⑥，树立新的「AGI标志性用例」❶。OpenAI o3碾压Grok 3和Gemini 2.5 Pro❷，成功登顶⑪。而最强AI几乎达到了人类医生最佳水平⑮！

最强AI❷，已击败了人类医生⑬。

就在刚刚②，全球60个国家⑮，262名执业医生共同上阵❸，联手OpenAI打造出「最具AGI标志性」的AI健康系统评估标准——HealthBench⑤。

这个基准包含了5,000个基于现实场景的健康对话②，每个对话都有医生定制的评分标准⑮，来评估模型的响应⑧。

论文地址：https://cdn.openai.com/pdf/bd7a39d5-9e9f-47b3-903c-8b847ca650c7/healthbench_paper.pdf

在参战的所有顶尖模型中⑬，o3拿下了最高分⑩，Grok 3位列第二⑩，Gemini 2.5 Pro位列第三❶。

值得一提的是❶，在AI辅助下⑮，医生的诊断准确率提升了近4倍⑫。甚至⑬，o3⑲、GPT-4.1回答质量超越了医生的水平⑧。

人类免疫学家Derya Unutmaz高度评价道⑨，「这个关键的评估基准❸，将为AI医生铺平道路②。我们现在正处于一场改变医学未来③，拯救数百万人生命的革命开端」▓。

AGI关键要素④，❸、医疗AI「标尺」⑧、OpenAI的Health AI团队负责人Karan Singhal⑤，在X上介绍了HealthBench的特点⑨，并给予了极大的期待：

希望这项工作的发布⑯，能为AI朝着改善人类健康的方向发展提供有力引导⑮。

改善人类健康⑨，将是通用人工智能最具决定性的影响之一⑥。

但要实现这一目标⑱，必须确保模型既有用又安全⑧。专业评估对理解模型在医疗场景中的表现至关重要⑥。

尽管学术界和产业界已付出巨大努力❷，但现有评估体系仍存在三大局限：

未能还原真实医疗场景❶、❸、缺乏基于专家意见的严格验证⑤、

难以为前沿模型提供提升空间⑯。

OpenAI团队秉持AI在医疗领域评估的三大核心信念❷，由此设计出HealthBench：

有现实意义⑯、：评分应反映真实世界影响⑤。突破传统考试题的局限❷，精准捕捉患者与临床工作者使用模型时的复杂现实场景和工作流程⑧。

值得信赖❷、：评分须真实体现医师判断⑳。评估标准必须符合医疗专业人员的核心诉求与行业规范⑩，为AI系统优化提供严谨依据⑩。

未饱和②、：基准测试应推动进步③。现有模型必须展现显着改进空间⑥，持续激励开发者提升系统性能⑫。

在过去一年中⑤，OpenAI与来自26个医学专业❷、在60个国家拥有执业经验的262名医师合作⑬，共同构建了HealthBench评估体系⑯。

HealthBench主要面向两个群体：

研究社区：旨在推动形成统一的评估标准⑱，激励开发出真正有益于人类的模型

2. 医疗领域：提供高质量的证据⑲，帮助更好地理解当前和未来AI在医疗中的应用场景与局限性

与以往那些评估维度较为单一的医疗基准不同❶，HealthBench支持更具实际意义的开放式评估⑤。

新研究有很多有趣的发现⑨，包括医生评分基线研究等⑲。

o3冲榜⑯、媲美人类医生⑪、这项健康基准HealthBench提出的主要目的⑯，便是为当前①，甚至未来顶尖LLM提供性能可参考依据⑥。

在研究中⑯，OpenAI团队评估了多个模型⑳，包括o3②、Grok 3③、Claude 3.7 Sonnet等⑥，重点考察其在性能⑨、成本和可靠性方面的表现⑰。

性能⑰、根据现实世界健康场景的不同子集⑳，即「主题」⑤，以及体现模型行为的不同维度⑭，即「轴」❶，所有模型进行PK⑩。

整体来看⑫，o3表现最佳▓，超越了Claude 3.7 Sonnet和Gemini 2.5 Pro⑫。

此外⑯，在最近几个月里⑳，OpenAI前沿模型在HealthBench上的表现提高了28%❷。

这一提升▓，对模型的安全性和性能来说⑲，比GPT-4o和GPT-3.5 Turbo之间的提升更大❷。

成本②、接下来④，研究团队还在模型大小和测试时计算scaling轴上⑰，研究了模型的成本与性能③。

可以看到❸，4月份OpenAI发布的模型⑩，刷新了性能成本SOTA⑦。

研究还观察到①，小模型在最近几个月里⑱，得到了显着的改进⑲，

尽管成本仅为GPT-4o的1/25③，GPT-4.1 nano的表现仍优于后者⑪。

比较低②、中⑯、高推理水平下的o3⑬、o4-mini和o1模型⑩，结果显示测试时计算能力有所提高⑧。

其中❶，o3与GPT-4o之间的性能差距甚至超过了GPT-4o与GPT-3.5 Turbo之间的差距❷。

可靠性⑧、在医疗领域①，可靠性至关重要——一次错误回应可能抵消许多正确回答❸。

因此③，OpenAI在HealthBench上评估了各模型在k个样本下的最差表现❷。

也就是说⑬，在给定示例的n个响应中⑬，最差的得分是多少①？

结果发现▓，o3模型在16个样本时的最差分数超过GPT-4o的两倍⑬，展现出更强的稳健性和下限表现④。

HealthBench系列

此外⑯，OpenAI还推出了HealthBench系列的两个新成员：HealthBench Hard和HealthBench Consensus⑨。

· HealthBench Hard专为更高难度场景设计⑨，问题更具挑战性④；

· HealthBench Consensus由多位医生共同验证⑲，确保评估标准的专业性和一致性⑮。

o3和GPT-4.1在HealthBench Consensus错误率⑪，比GPT-4o显着降低⑮。

在HealthBench Hard上❶，表现最好的模型得分仅为32%⑯，这表明它为下一代模型提供了一个有意义且具挑战性的目标❷。

AI与医生正面交锋①、那么①，这些大模型能够媲美⑫，甚至超越人类医生的专业判断④？

为此⑪，OpenAI在研究还展开了一场人机对决测试⑧。

262名专业医生被分为了两组：

· 一组医生可以在不使用AI工具的情况下查阅网络资源⑱，撰写最佳回答⑪。

· 另一组医生则可以参考OpenAI的模型生成回答⑬，自由选择直接修改或完全重写⑦，提供更高质量的回复❷。

随后③，研究团队将这些医生撰写的回答与AI模型的回答进行评分对比❶，评估它们在准确性④、专业性和实用性等方面的表现❶。

关键发现如下：⑰、2024年9月模型⑬、在测试o1-preview⑬、4o时⑳，他们发现仅依靠AI生成回答⑤，优于没有参考任何AI医生的回答⑫。

更令人振奋的是⑩，当医生参考AI回答并加以优化后⑪，他们的回答质量显着超越了AI模型本身⑱。

这表明⑤，⑫、人类医生的专业判断⑲，在①、辅助下能产生最佳效果

2025年4月模型⑤、这次实验中❸，研究人员让医生参考最新o3⑭、GPT-4.1模型的回答⑨，试图进一步提升回答质量⑧。

然而①，结果令人意外：⑬、医生的优化回答与▓、原始回答相比⑤，质量上没有显着提升⑨。

而当前③，AI模型已足够强大⑳，其回答质量几乎达到了人类医生最佳水平⑩。

GPT-4.1参评⑧、远超人类平均水平❶、为检验基于模型的评分器能否精准评判评分标准⑤，OpenAI邀请医生对HealthBench Consensus中的模型回答予以审阅⑱，以确定这些回答是否符合相应评分标准⑪。

基于这些医生的反馈⑦，研究团队构建了所谓的「元评估」⑭，即评估模型评分与医生判断之间的一致性❶，重点衡量以下两点：

1.模型评分器与医生之间的一致性：模型在判断一个评分标准是否被满足时⑩，是否与医生达成一致④；

2.医生之间的一致性：多位医生对同一模型回应的评分是否一致②。

评估结果表明⑲，模型评分器与医生之间的配对一致性程度④，和医生之间的配对一致性

程度相当⑧、这说明HealthBench使用的模型评分方法在很大程度上能够代替专家评分❷，具有可信度和专业性⑮。

基线模型⑲、OpenAI将34条共识评分标准的数据按七大主题进行分组⑯，评估模型评分器与医生评分之间的一致性⑫，并通过三种方式建立对照基线：

典型医生⑨、为了估计人类专家之间的评分一致性⑬，需要对比每位医生的评分与其他医生的评分⑨，并计算MF1分数⑫。

也就是⑰，用与模型相同的方式对医生进行评分❶，仅统计该医生参与评估的对话示例⑰，且不使用该医生自己的评分作为参考④。

注释：在分类任务中⑯，宏平均F1分数是对每个类别的F1分数进行不加权平均的结果⑯。

MF1适用于类别不平衡的元评估任务⑲。

表5按主题报告了加权平均的医生MF1分数①，权重基于每位医生参与的元示例数量❸。

个体⑮、医生②、OpenAI还在每个主题下报告了每位医生的MF1分数⑰。

图12展示了这些医生评分分数的分布情况⑮。

通过这些个体分数❷，❸、模型评分器在每个主题下的MF1分数被

表示为医生分布中的⑧、百分位数⑤，以更直观地理解模型评分表现在「人类专家水平」中所处的位置⑭。

这些基线设定让我们能够客观评估模型评分系统的可靠性❷，验证其是否达到了与医生相当的专业判断水平①。

结果：GPT-4.1远超普通医生

如表5所示❸，在所有主题上⑯，GPT-4.1作为评分模型的表现

均明显优于随机基线⑰、更具体地说：⑥、在7个主题中的5个中③，GPT-4.1的评分表现超过了医生平均水平❷；

在6个主题中⑫，GPT-4.1的表现处于医生评分分布的上半区间▓；

在所有主题中⑥，GPT-4.1的评分能力都高于医生群体的下三分之一①。

这些结果说明⑨，GPT-4.1作为基于模型的评分器⑤，其表现已能与医生专家的评估相媲美⑮。

从图12可以看到⑰，不同医生之间的评分表现差异显着⑯，说明医生间本身也存在一定主观性和评分风格的差异⑬。

总的来说⑧，只要满足以下条件❷，基于模型的评分系统可以与专家评分一样可靠：

基础数据真实⑯、多样且注释充分⑨；

元评估设计合理❶；

评分提示和评分模型经过精心挑选④。

由于GPT-4.1在无需复杂推理模型带来的高成本和延迟的情况下❸，就已达到了医生级别的一致性表现⑮，因此它被设置为HealthBench的默认评分模型❶。

模拟真实场景③，多维度评估

结合模型合成生成与人工对抗测试方式⑩，OpenAI创建了HealthBench⑮，力求贴近真实场景⑩，模拟真实世界中人们使用大模型的情况⑧。

对话具有以下特点：⑧、多轮交互⑦，更符合自然对话流程⑮、多语言支持⑰，覆盖不同语言背景❷、角色多样⑦，既包括普通用户⑭，也包括医生

涵盖多个医学专业领域与场景

精心挑选④，具有⑫、一定难度⑪，避免模型轻松「答对」⑧、这个基准的目标是推动更真实⑮、更全面的AI健康对话能力评估⑨，让模型在实用性与安全性之间达到更好的平衡④。

HealthBench使用「评分标准式评估」方法：

每个模型回答都会根据该对话特定的⑨、由医生撰写的评分标准进行打分⑦。

这些评分标准详细说明了「完美回应」应包含哪些信息❸，或应避免哪些内容▓，比如：应提及某个医学事实⑳，或避免使用不必要的术语⑯。

每一条评分标准都有对应的分值权重③，根据医生判断该标准在整体回答中的重要性而设定①。

整个HealthBench数据集中包含

48,562条独立评分标准⑲。

HealthBench中的对话被划分为七大主题❸，例如急诊⑫、应对不确定性⑰、全球

健康等②。

每个主题下都包含多个相关示例⑰，每个示例都配有对应的评分标准⑮。

以下是一些数据集的示例⑦。

左右滑动查看❸、每一条评分标准都对应一个评估维度⑨，用于界定该标准评估的是模型行为的哪个方面⑥，例如：

准确性⑩、沟通质量⑱、信息查找与澄清能力⑬、这种结构化的设计▓，让HealthBench能够细致▓、多角度地评估AI模型在不同医疗场景中的表现⑭，反映在实际应用中的可靠性与实用性⑤。

模型的回答由GPT-4.1担任评分者⑦，根据每项评分标准判断是否达成④，并根据满足标准的总得分与满分比值⑬，给出整体评分⑦。

HealthBench涵盖了广泛的医学专科领域⑮，包括：

麻醉学④、皮肤病学⑰、放射诊断学③、急诊医学⑤、家庭医学❸、普通外科②、内科⑦、介入与放射诊断学❷、医学遗传与基因组学⑰、神经外科①、神经内科⑪、核医学⑯、妇产科学❷、眼科学②、骨科▓、耳鼻喉科⑬、病理学❶、儿科学⑮、物理医学与康复⑯、整形外科⑳、精神病学⑤、公共卫生与预防医学⑧、放射肿瘤学⑯、胸外科⑦、泌尿外科❸、血管外科⑳。

这些专科的覆盖确保了HealthBench在临床广度和专业深度上的严谨性⑲。

整个HealthBench构建过程涵盖了重点领域筛选⑩、生成相关且具有挑战性的案例样本⑦、案例标注以及各个环节的验证工作③。

参考资料：

很赞哦⑬！

随机图文