302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

9月25日,Google旗下的Gemini 1.5系列模型迎来了最新版本的发布,分别是Gemini-1.5-Pro-002和Gemini-1.5-Flash-002两款模型。据了解,与之前的版本相比,Gemini-1.5-Pro-002 和 Gemini-1.5-Flash-002在数学、上下文和视觉方面的能力得到了显著提升。

根据官方数据显示,两款模型在MMLU-pro的性能提高了7%,而在MATH和HiddenMath(一个内部保留的竞赛数学问题集)基准测试中,两个模型都分别取得了约20%的改进。还有,在视觉和代码生成用例中,这两个模型的性能也有所提升(范围为2-7%),特别是在评估视觉理解和Python代码生成时。

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

除此之外,Gemini-1.5-Flash-002速率限制提高到每分钟2,000个请求(RPM),Gemini-1.5-Pro-002的速率限制提高到每分钟1,000个请求(RPM),两个模型的输出速度都提高了2 倍,延迟降低 3 倍。

以下是通过302.AI的模型竞技场对比Gemini-1.5-Pro-002、Gemini-1.5-Flash-002、Gemini-1.5-Pro和Gemini-1.5-Flash四款模型的响应速度,可以看到Gemini-1.5-Pro-002和Gemini-1.5-Flash-002对比旧版本速度方面的确有了提升:

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

然而,因为中国大陆限制访问Google服务,国内用户无法在官方网站直接访问或使用Gemini-1.5-Pro-002 和 Gemini-1.5-Flash-002,而302.AI已经在聊天机器人和模型竞技场同步更新了Gemini-1.5-Pro-002和Gemini-1.5-Flash-002两款最新模型,且提供按需付费的服务方式,为用户带来了极大的灵活性和便利性:

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

Gemini-1.5-Pro-002和Gemini-1.5-Flash-002既然在这个时间点发布,就免不了被拿来和OpenAI的草莓模型作比较。接下来,小编就使用302.AI的模型竞技场,对Gemini-1.5-Pro-002、Gemini-1.5-Flash-002和“草莓”模型o1-preview三个模型进行比较,更方便更直观地对比三个模型的回答:

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

由于“草莓”模型o1-preview还无法处理多模态内容,以下测试将注重在数学、理解、推理能力上。

首先,第一题是热身题,提问:“昨天的当天是明天的哪一天?”热身题题目比较简单,第一题三个模型都是回答正确的:

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

接下来正式开始测试数学理解能力,提问:“地面上放着20厘米高的砖。我在上面放了一个30厘米高的花盆。花盆里有10厘米深的土,土上面种着5厘米高的幼苗。从地面到苗头的高度是多少厘米?”

以下三个模型的答案中可以看到,只有o1-preview的回答是正确的,正确答案就是35厘米。Gemini-1.5-Pro-002和Gemini-1.5-Flash-002两个模型虽然分析过程稍稍有不同,但给出的答案都是一样的,是错误的。从回答中可以很明显看出两个模型都只是把题目中出现数据进行简单累加,显然没有理解并分析题目的具体情境。

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

接下来继续提问:“3307是质数吗?”

从三个模型给出的答案中可以看到,Gemini-1.5-Pro-002和Gemini-1.5-Flash-002的回答逐渐有点“胡说八道”,前后的逻辑并不通,提问的是3307是不是质数,Gemini-1.5-Pro-002出的回答解析却是31×107=3317,让人属实觉得莫名其妙;而Gemini-1.5-Flash-002更是,整除的意思是商为整数,且没有余数,但是答案中出现了却分数3/7。只有o1-preview草莓模型给出了正确的解答过程和答案。

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

进行简单的测试之后,可以得出Gemini-1.5-Pro-002和Gemini-1.5-Flash-002两个模型在数学、理解能力上还有比较大的上升空间,与o1-preview模型对比之下,差距还是比较明显的。

值得一提的是,302.AI的API超市也更新了Gemini-1.5-Pro-002和Gemini-1.5-Flash-002的API,支持在线调试,开发者无需下载额外的软件或进行繁琐的配置,就可以直接在302.AI的平台上对API进行实时测试和调试,而且API分类清晰,开发者能快速找到所需的API,节省了大量的时间和精力:

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?

AI模型的发展是一个持续进步的过程,而对于用户来说,选择合适的AI模型应该基于具体的应用需求,我们可以期待看到Google在未来的更新中能够进一步提升Gemini系列模型的性能,尤其是在数学和逻辑推理方面。同时,也希望更多的创新和突破能够出现在AI领域,为用户带来更智能、更高效的人工智能体验。

参考文章:https://developers.googleblog.com/zh-hans/updated-production-ready-gemini-models-reduced-15-pro-pricing-increased-rate-limits-and-more/


👉立即注册免费试用302.AI,开启你的AI之旅!👈

为什么选择302.AI?

● 灵活付费:无需月费,按需付费,成本可控
● 丰富功能:从文字、图片到视频,应有尽有,满足多种场景需求
● 开源生态:支持开发者深度定制,打造专属AI应用
● 易用性:界面友好,操作简单,快速上手

302.AI 基准实验室 | 谷歌发布最新两款Gemini 1.5系列模型,与草莓o1模型对比谁表现更好?
All Rights Reserved by 302.AI
赞 (0)
302.AI
上一篇 2024 年 9 月 25 日 下午7:11
下一篇 2024 年 9 月 27 日 下午5:16

相关推荐

  • Kimi K3.1 Pro 实测:3D与前端视觉惊艳,1/5 价格拿下旗舰级编程丨302.AI

    📖 文章导读:月之暗面发布 Kimi K3.1 Pro,历经 99 天 RL 重炼,AA 智力指数冲至全球第四,预定最强开源模型,API 价格再砍三分之一。实测发现,K3.1 Pro 在视觉审美上优势突出,力压 GPT-6 Astra,编程基准也实现超越。本文带你速览升级亮点与真实生产力边界,看国产旗舰如何与海外顶流正面掰手腕。 从 K3 破局到 K3.1 …

    4天前 • 基准实验室
    7950
  • MiniMax M3.1 Flash实测:对比 DeepSeek 1017,有何亮点丨302.AI

    📖 文章导读:匿名 25 天、默默消化 200T token 的 Space Bunny 终于揭面——正是 MiniMax M3.1 Flash。与仅隔 2 天发布的 DeepSeek-V4.1-Flash-1017 正面对决,跑分互有胜负,但二者并非简单的“双强并立”。实测验证,M3.1 Flash 不是平替,而是另一把工具——适合谁、怎么选,一文讲清。 …

    2026 年 10 月 23 日 • 基准实验室
    1.2K0
  • DeepSeek V4.1-Flash-1017 实测:Flash 档跑进旗舰分数段,能力上限再被刷新丨302.AI

    📖 文章导读:DeepSeek-V4.1-Flash-1017 低调上线,基准成绩杀进旗舰分数段。DeepSWE 通过率 77.0,压过 Claude Opus 5 和 GPT-5.6-Sol;单任务成本不到 8 毛,只有对手的百分之一。实测视觉和创意已经够打,工程完成度仍有代差。这不是一次常规升级,是 Flash 这个档位的重新定价。 详细了解DeepSe…

    2026 年 10 月 21 日 • 基准实验室
    1.4K0
  • Gemini 4 Argon 实测:硬实力回到第一梯队,但还不是全能选手 | 302.AI

    📖 文章导读:Google 背水一战搬出 Gemini 4 Argon,硬实力重返第一梯队。长输出与知识工作上表现惊艳,以绝对的成本优势紧咬 GPT-6 Astra。实测显示,Argon 在金融、法律等专业领域结构性领先,编程达旗舰水准,但工程完成度与 Agent 能力仍是明显短板。这场翻身仗,Google 赢回了与顶级模型掰手腕的资格,也暴露了从“聪明”到…

    2026 年 10 月 16 日 • 基准实验室
    1.7K0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注