电玩城游戏机对孕妇有影响嘛

新智元报道⑥、【新智元导读】OpenAI发布新基准HealthBench⑲，联手60个国家262名执业医生⑮，树立新的「AGI标志性用例」⑱。OpenAI o3碾压Grok 3和Gemini 2.5 Pro②，成功登顶⑥。而最强AI几乎达到了人类医生最佳水平⑬！

最强AI⑳，已击败了人类医生①。

就在刚刚⑤，全球60个国家②，262名执业医生共同上阵⑱，联手OpenAI打造出「最具AGI标志性」的AI健康系统评估标准——HealthBench⑦。

这个基准包含了5,000个基于现实场景的健康对话⑪，每个对话都有医生定制的评分标准②，来评估模型的响应⑨。

论文地址：https://cdn.openai.com/pdf/bd7a39d5-9e9f-47b3-903c-8b847ca650c7/healthbench_paper.pdf

在参战的所有顶尖模型中⑧，o3拿下了最高分④，Grok 3位列第二⑰，Gemini 2.5 Pro位列第三⑦。

值得一提的是⑯，在AI辅助下⑲，医生的诊断准确率提升了近4倍❷。甚至②，o3⑯、GPT-4.1回答质量超越了医生的水平⑤。

人类免疫学家Derya Unutmaz高度评价道❶，「这个关键的评估基准②，将为AI医生铺平道路⑥。我们现在正处于一场改变医学未来②，拯救数百万人生命的革命开端」⑲。

AGI关键要素⑯，⑤、医疗AI「标尺」⑭、OpenAI的Health AI团队负责人Karan Singhal⑱，在X上介绍了HealthBench的特点⑬，并给予了极大的期待：

希望这项工作的发布①，能为AI朝着改善人类健康的方向发展提供有力引导❶。

改善人类健康⑪，将是通用人工智能最具决定性的影响之一⑳。

但要实现这一目标⑫，必须确保模型既有用又安全❶。专业评估对理解模型在医疗场景中的表现至关重要⑭。

尽管学术界和产业界已付出巨大努力❸，但现有评估体系仍存在三大局限：

未能还原真实医疗场景⑱、⑬、缺乏基于专家意见的严格验证❶、

难以为前沿模型提供提升空间⑰。

OpenAI团队秉持AI在医疗领域评估的三大核心信念⑱，由此设计出HealthBench：

有现实意义②、：评分应反映真实世界影响▓。突破传统考试题的局限⑥，精准捕捉患者与临床工作者使用模型时的复杂现实场景和工作流程⑬。

值得信赖⑭、：评分须真实体现医师判断⑥。评估标准必须符合医疗专业人员的核心诉求与行业规范③，为AI系统优化提供严谨依据⑥。

未饱和⑱、：基准测试应推动进步❸。现有模型必须展现显着改进空间⑮，持续激励开发者提升系统性能❷。

在过去一年中③，OpenAI与来自26个医学专业⑰、在60个国家拥有执业经验的262名医师合作❶，共同构建了HealthBench评估体系⑱。

HealthBench主要面向两个群体：

研究社区：旨在推动形成统一的评估标准⑪，激励开发出真正有益于人类的模型

2. 医疗领域：提供高质量的证据⑨，帮助更好地理解当前和未来AI在医疗中的应用场景与局限性

与以往那些评估维度较为单一的医疗基准不同⑨，HealthBench支持更具实际意义的开放式评估⑩。

新研究有很多有趣的发现⑥，包括医生评分基线研究等❶。

o3冲榜❶、媲美人类医生⑮、这项健康基准HealthBench提出的主要目的①，便是为当前⑧，甚至未来顶尖LLM提供性能可参考依据⑲。

在研究中⑲，OpenAI团队评估了多个模型⑥，包括o3❶、Grok 3④、Claude 3.7 Sonnet等▓，重点考察其在性能❷、成本和可靠性方面的表现⑧。

性能⑮、根据现实世界健康场景的不同子集⑯，即「主题」⑩，以及体现模型行为的不同维度⑨，即「轴」⑦，所有模型进行PK⑧。

整体来看④，o3表现最佳⑤，超越了Claude 3.7 Sonnet和Gemini 2.5 Pro⑬。

此外⑮，在最近几个月里④，OpenAI前沿模型在HealthBench上的表现提高了28%❶。

这一提升❸，对模型的安全性和性能来说⑬，比GPT-4o和GPT-3.5 Turbo之间的提升更大⑲。

成本⑮、接下来⑩，研究团队还在模型大小和测试时计算scaling轴上⑩，研究了模型的成本与性能❶。

可以看到①，4月份OpenAI发布的模型⑤，刷新了性能成本SOTA❷。

研究还观察到⑬，小模型在最近几个月里⑯，得到了显着的改进⑯，

尽管成本仅为GPT-4o的1/25⑯，GPT-4.1 nano的表现仍优于后者⑥。

比较低②、中④、高推理水平下的o3⑬、o4-mini和o1模型③，结果显示测试时计算能力有所提高⑨。

其中⑭，o3与GPT-4o之间的性能差距甚至超过了GPT-4o与GPT-3.5 Turbo之间的差距②。

可靠性⑬、在医疗领域❷，可靠性至关重要——一次错误回应可能抵消许多正确回答⑪。

因此⑤，OpenAI在HealthBench上评估了各模型在k个样本下的最差表现⑯。

也就是说⑮，在给定示例的n个响应中⑭，最差的得分是多少②？

结果发现⑱，o3模型在16个样本时的最差分数超过GPT-4o的两倍⑦，展现出更强的稳健性和下限表现⑯。

HealthBench系列

此外⑲，OpenAI还推出了HealthBench系列的两个新成员：HealthBench Hard和HealthBench Consensus⑨。

· HealthBench Hard专为更高难度场景设计⑳，问题更具挑战性⑭；

· HealthBench Consensus由多位医生共同验证❸，确保评估标准的专业性和一致性▓。

o3和GPT-4.1在HealthBench Consensus错误率④，比GPT-4o显着降低⑮。

在HealthBench Hard上⑭，表现最好的模型得分仅为32%①，这表明它为下一代模型提供了一个有意义且具挑战性的目标⑧。

AI与医生正面交锋⑦、那么③，这些大模型能够媲美⑯，甚至超越人类医生的专业判断⑫？

为此⑧，OpenAI在研究还展开了一场人机对决测试④。

262名专业医生被分为了两组：

· 一组医生可以在不使用AI工具的情况下查阅网络资源①，撰写最佳回答⑧。

· 另一组医生则可以参考OpenAI的模型生成回答❸，自由选择直接修改或完全重写⑪，提供更高质量的回复④。

随后⑫，研究团队将这些医生撰写的回答与AI模型的回答进行评分对比⑪，评估它们在准确性⑦、专业性和实用性等方面的表现⑤。

关键发现如下：⑫、2024年9月模型▓、在测试o1-preview③、4o时⑮，他们发现仅依靠AI生成回答❷，优于没有参考任何AI医生的回答❶。

更令人振奋的是⑲，当医生参考AI回答并加以优化后⑱，他们的回答质量显着超越了AI模型本身⑥。

这表明③，⑭、人类医生的专业判断⑳，在❸、辅助下能产生最佳效果

2025年4月模型⑦、这次实验中⑨，研究人员让医生参考最新o3①、GPT-4.1模型的回答③，试图进一步提升回答质量⑮。

然而⑪，结果令人意外：⑭、医生的优化回答与⑲、原始回答相比①，质量上没有显着提升⑮。

而当前⑩，AI模型已足够强大⑭，其回答质量几乎达到了人类医生最佳水平⑫。

GPT-4.1参评⑱、远超人类平均水平⑯、为检验基于模型的评分器能否精准评判评分标准⑤，OpenAI邀请医生对HealthBench Consensus中的模型回答予以审阅⑧，以确定这些回答是否符合相应评分标准⑩。

基于这些医生的反馈⑯，研究团队构建了所谓的「元评估」⑮，即评估模型评分与医生判断之间的一致性②，重点衡量以下两点：

1.模型评分器与医生之间的一致性：模型在判断一个评分标准是否被满足时①，是否与医生达成一致④；

2.医生之间的一致性：多位医生对同一模型回应的评分是否一致⑧。

评估结果表明⑯，模型评分器与医生之间的配对一致性程度⑮，和医生之间的配对一致性

程度相当⑳、这说明HealthBench使用的模型评分方法在很大程度上能够代替专家评分⑫，具有可信度和专业性❶。

基线模型❷、OpenAI将34条共识评分标准的数据按七大主题进行分组⑦，评估模型评分器与医生评分之间的一致性⑱，并通过三种方式建立对照基线：

典型医生⑤、为了估计人类专家之间的评分一致性⑫，需要对比每位医生的评分与其他医生的评分②，并计算MF1分数⑧。

也就是①，用与模型相同的方式对医生进行评分⑬，仅统计该医生参与评估的对话示例⑦，且不使用该医生自己的评分作为参考⑰。

注释：在分类任务中②，宏平均F1分数是对每个类别的F1分数进行不加权平均的结果⑲。

MF1适用于类别不平衡的元评估任务❸。

表5按主题报告了加权平均的医生MF1分数⑮，权重基于每位医生参与的元示例数量⑫。

个体❶、医生❷、OpenAI还在每个主题下报告了每位医生的MF1分数④。

图12展示了这些医生评分分数的分布情况⑪。

通过这些个体分数⑤，④、模型评分器在每个主题下的MF1分数被

表示为医生分布中的⑳、百分位数⑯，以更直观地理解模型评分表现在「人类专家水平」中所处的位置⑨。

这些基线设定让我们能够客观评估模型评分系统的可靠性⑯，验证其是否达到了与医生相当的专业判断水平⑨。

结果：GPT-4.1远超普通医生

如表5所示⑮，在所有主题上▓，GPT-4.1作为评分模型的表现

均明显优于随机基线❶、更具体地说：④、在7个主题中的5个中⑤，GPT-4.1的评分表现超过了医生平均水平②；

在6个主题中⑭，GPT-4.1的表现处于医生评分分布的上半区间⑮；

在所有主题中❷，GPT-4.1的评分能力都高于医生群体的下三分之一⑭。

这些结果说明⑳，GPT-4.1作为基于模型的评分器⑰，其表现已能与医生专家的评估相媲美⑬。

从图12可以看到⑯，不同医生之间的评分表现差异显着⑨，说明医生间本身也存在一定主观性和评分风格的差异⑨。

总的来说▓，只要满足以下条件⑫，基于模型的评分系统可以与专家评分一样可靠：

基础数据真实⑩、多样且注释充分⑳；

元评估设计合理⑳；

评分提示和评分模型经过精心挑选❸。

由于GPT-4.1在无需复杂推理模型带来的高成本和延迟的情况下⑨，就已达到了医生级别的一致性表现⑮，因此它被设置为HealthBench的默认评分模型①。

模拟真实场景⑦，多维度评估

结合模型合成生成与人工对抗测试方式⑲，OpenAI创建了HealthBench⑱，力求贴近真实场景③，模拟真实世界中人们使用大模型的情况⑳。

对话具有以下特点：⑪、多轮交互④，更符合自然对话流程⑫、多语言支持⑲，覆盖不同语言背景⑰、角色多样⑲，既包括普通用户⑮，也包括医生

涵盖多个医学专业领域与场景

精心挑选⑦，具有⑰、一定难度⑥，避免模型轻松「答对」⑥、这个基准的目标是推动更真实⑨、更全面的AI健康对话能力评估⑨，让模型在实用性与安全性之间达到更好的平衡⑦。

HealthBench使用「评分标准式评估」方法：

每个模型回答都会根据该对话特定的⑳、由医生撰写的评分标准进行打分▓。

这些评分标准详细说明了「完美回应」应包含哪些信息⑱，或应避免哪些内容⑨，比如：应提及某个医学事实⑧，或避免使用不必要的术语⑮。

每一条评分标准都有对应的分值权重⑩，根据医生判断该标准在整体回答中的重要性而设定⑪。

整个HealthBench数据集中包含

48,562条独立评分标准⑬。

HealthBench中的对话被划分为七大主题⑰，例如急诊⑨、应对不确定性⑤、全球

健康等⑮。

每个主题下都包含多个相关示例③，每个示例都配有对应的评分标准①。

以下是一些数据集的示例⑳。

左右滑动查看❸、每一条评分标准都对应一个评估维度④，用于界定该标准评估的是模型行为的哪个方面⑫，例如：

准确性⑳、沟通质量⑯、信息查找与澄清能力①、这种结构化的设计❷，让HealthBench能够细致⑨、多角度地评估AI模型在不同医疗场景中的表现⑰，反映在实际应用中的可靠性与实用性④。

模型的回答由GPT-4.1担任评分者②，根据每项评分标准判断是否达成❸，并根据满足标准的总得分与满分比值❷，给出整体评分⑩。

HealthBench涵盖了广泛的医学专科领域⑬，包括：

麻醉学⑨、皮肤病学⑳、放射诊断学⑮、急诊医学⑩、家庭医学❷、普通外科⑪、内科❸、介入与放射诊断学⑥、医学遗传与基因组学⑳、神经外科⑮、神经内科⑤、核医学①、妇产科学⑭、眼科学⑦、骨科❷、耳鼻喉科⑥、病理学⑬、儿科学▓、物理医学与康复⑭、整形外科⑩、精神病学⑧、公共卫生与预防医学⑤、放射肿瘤学⑰、胸外科⑲、泌尿外科⑭、血管外科⑲。

这些专科的覆盖确保了HealthBench在临床广度和专业深度上的严谨性③。

整个HealthBench构建过程涵盖了重点领域筛选④、生成相关且具有挑战性的案例样本⑪、案例标注以及各个环节的验证工作②。

参考资料：

转载：感谢您对电玩城捕鱼种类都有的软件网站平台的认可⑩，以及对电玩城捕鱼种类都有的软件原创作品以及文章的青睐⑦，非常欢迎各位朋友分享到个人站长或者朋友圈⑩，但转载请说明文章出处“来源电玩城捕鱼种类都有的软件”⑱。

很赞哦①！