谷歌联合Artificial Analysis推出MKA基准测试:Gemini 4 Carbon多模态知识工作测试获第二

发布时间:2026-11-11 07:54

  谷歌表示,其最新发布的 Gemini 4 Carbon 在该测试中取得了参测模型第二名的成绩,完成任务的平均成本仅为排名第一模型的约六分之一。

  谷歌 DeepMind 高级产品经理 Rohan Doshi 和首席工程师 Ben Caine 介绍称,现有不少知识工作基准测试仅依赖文本即可完成,而现实工作往往涉及大量

  每项任务都模拟一个多步骤专业项目,包含真实工作提示词以及一组多模态输入文件。谷歌称,这些任务通常需要经验丰富的专业人员花费 3 至 8 小时完成。每项任务还配有专家编写的评分标准,平均包含约 70 项是非判断检查项,其中事实准确性占 75%,

  在评测机制方面,所有参测模型均运行于相同的开源智能体框架 Stirrup,使用相同工具、沙箱环境和交互轮次预算。最终交付成果由一个基于非谷歌模型构建的智能体评审系统进行评分,该系统会打开所有文件、渲染页面、检查电子表格公式,并按照专家评分标准核验结果。谷歌表示,领域专家对模型输出进行人工评分时,与自动评审系统的结果一致率达到 96%。

  为避免测试题泄露并进入模型训练数据,Artificial Analysis 将 200 项正式评测任务设为私有。同时,项目还在 Hugging Face 上公开了另外 10 项任务,供开发者了解测试格式并评估自己的智能体。

  谷歌公布的测试结果显示,Gemini 4 Carbon 在参测模型中取得质量排名第二的成绩,但平均任务成本仅为排名第一模型的六分之一。谷歌还指出,不同模型完成同一批任务时的效率存在明显差异,平均每项任务消耗的交互轮次在 30 至 130 轮之间。

  特别

  即将卸任的加州州长纽森做出了一项令全美震惊的决定——国家不得[*]人,但谁又能还受害者一个公道?

  说出来你可能不信,委内瑞拉有20万中国人。但最邪门的是,其中有足足18万,竟都来自同一个地方——广东恩平。

  爆单!10分钟卖了10万单,董宇辉却被质疑:“一块奶油蛋糕能放9个月,得加多少防腐剂?”客服回应

  离谱!3名年轻人吃自助餐用行李箱藏25瓶饮品,被餐厅AI监控当场抓包,工作人员:第一次见行李箱打包的

  不买新能源看它 15.6寸大屏+前后排通风加热,13.38万起的新亚洲龙还是你认识的丰田吗?

排行

精选