302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

12月初,OpenAI 开启了为期十二天的直播活动。而在直播的首日,OpenAI带来了推理大模型o1的完整版!据了解,o1 完整版在数学和代码能力上都有了显著提升,推理速度比之前的preview版本快了60%,并且支持多模态!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

在高难度数学题(AIME 2024)、编程能力(CodeForces)、科学问题(GPQA Diamond)等基准测试中,o1 完整版都拿到了最高分。更值得一提的是,在GPQA Diamond基准测试上,o1 完整版的表现甚至超越了人类专家!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!


> 在302.AI上使用OpenAI o1模型

按照惯例,302.AI第一时间更新了OpenAI o1完整版模型,而且302.AI提供了按需付费的使用方式,没有捆绑套餐、没有月费。下面是具体的获取方式:

进入302.AI——左侧菜单栏点击【使用机器人】——【聊天机器人】——模型选择【o1-plus】——点击【确定】——最后【创建聊天机器人】;

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

> 实测对比

每次模型一出来,总是被夸得天花乱坠,但真实效果到底是怎么样?还得实测过才知道。下面我们就通过不同方面实测对比,看看OpenAI o1完整版是不是真的是满血版的o1。

实测一:多模态推理

对比模型:o1 完整版和GPT-4o 多模态版

使用工具:302.AI的聊天机器人

提示词:从所给的四个选项中,选择最恰当的一个填入问号处,使之呈现一定的规律性。

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

分析:这是我国公务考试中的固定图片推理题,同时也可以说是每一个考公人的噩梦,先说一下正确答案为选项C

原因:图形元素组成不同,优先考虑属性规律。九宫格优先按横行来看,第 一行中,三幅图依次为仅轴对称图形、仅中心对称图形、仅轴对称图形;代入第二行验 证,第二行与第一行规律相同。因此,第三行也应该满足此规律,问号处应该填入一个 仅轴对称的图形。A 项为仅中心对称图形,B 项为既轴对称又中心对称图形,D 项为不对称图形,只有C项为仅轴对称图形,所以当选。

GPT-4o多模态:接下来看看GPT-4o的答案,从答案分析中可以看出,模型已经很努力在“瞎掰”了,但很可惜,答案是错误的!即使经过提醒答案不对,GPT-4o还是没能给出正确答案。

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

o1 完整版:o1 完整版一顿分析,给出了错误的答案。不过在经过第二次提醒后,最终纠正了回答,给出了正确答案。

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

实测二:数学能力测试

对比模型:o1完整版、o1 preview、claude-3.5-sonnet-20241022

使用工具:302.AI的模型竞技场

提示词:

已知在三角形ABC中,A+B=3C,2sin(A-C)=sinB

(1)求sinA;

(2)设AB=5,求AB边上的高。

分析:这是2023年的河北高考题,共有2个小问,先来看下正确答案解析:

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

o1 完整版:来看下o1 完整版的答案,可以看到答案也是很长,但只答对了第一小问,第二小问回答错误,在经过提醒后,仍未能回答正确。

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

claude-3.5-sonnet:再来看看claude-3.5-sonnet的答案,两个小问的答案均回答错误,经过再次提醒答案不正确后,依然无法纠正答案!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

o1 preview:o1 preview居然两个小问都回答正确!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

实测三:编程检验

对比模型:o1完整版、o1 preview、claude-3.5-sonnet-20241022

使用工具:302.AI的聊天机器人、编程学习平台

提示词:

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

分析:这属于专家级难度的编程题目,看下三个模型是否能够通过检验:

o1 完整版:o1完整版输出的代码没有检验通过!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

将错误返回给模型重新纠正后,依然只正确了一半!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

claude-3.5-sonnet:claude输出的代码出现了语法错误,检验失败!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

将错误返回给模型自行纠正,最后仅对了一半

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

o1 preview:没想到o1 preview再次获胜,代码检验通过!

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!


> 总结

经过一系列的对比,可以初步得出以下结论:

多模态推理:在多模态推理方面,o1 完整版与GPT-4o都未能给出正确答案,虽然o1 完整版在经过提醒后能够给出正确答案,但在面对此类多模态逻辑推理题目中,模型的局限性还是比较明显

数学能力测试:在数学能力测试中,o1 preview意外地表现出色,超越了o1 完整版

编程检验:在编程能力方面,o1 完整版即使经过二次提醒输出的代码还是未能完全通过检验

今天的实测内容更多地侧重于用户的实际需求,从公务员考试中的图形逻辑题到高考数学题,再到编程题目,都更贴近用户的日常生活。然而,从实测结果来看,o1 完整版在实际应用方面,其能力仍有待进一步的优化和完善。

此外,听说o1 完整版后续还会添加对网页浏览和文件上传等工具的支持,我们可以期待看看!


👉立即注册免费试用302.AI,开启你的AI之旅!👈

为什么选择302.AI?

● 灵活付费:无需月费,按需付费,成本可控
● 丰富功能:从文字、图片到视频,应有尽有,满足多种场景需求
● 开源生态:支持开发者深度定制,打造专属AI应用
● 易用性:界面友好,操作简单,快速上手

302.AI 基准实验室 | 在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!
All Rights Reserved by 302.AI
(0)
302.AI
上一篇 2024 年 12 月 10 日 下午6:46
下一篇 2024 年 12 月 12 日 下午7:18

相关推荐

  • DeepSeek-V4.1-Flash 实测:552B新架构,原生多模态,正式接棒V4 Pro | 302.AI

    📖 文章导读:9 月 10 日,DeepSeek V4.1 Flash发布。新模型采用全新架构,原生补齐多模态,大幅压缩KV Cache并下调价格,正式接棒V4 Pro。本期测评通过真实任务实测发现,其展现出逼近甚至局部超越 Pro 的能力,性价比极高。虽极限复杂任务仍有瑕疵,但“Pro 级能力、Flash 级价格”已初步坐实。一文解析其实战表现与选型参考。…

    5天前 基准实验室
    6710
  • GPT-6 Astra 实测:Computer Use 突破,AGI 还是高阶 Agent?| 302.AI

    📖 文章导读:AGI 时代已来?OpenAI 发布 GPT-6 Astra 引热议。新模型在推理与编程效果上表现惊艳,更带来突破性的 Computer Use 能力,让 AI 像人类一样自主操作电脑。究竟是 AGI 降临还是高阶 Agent?本期实测将其放入真实工作场景,围绕多模态、3D构建及电脑操作等维度展开实测,一探其实际表现。 每隔几个月,AI 圈就会…

    2026 年 9 月 9 日 基准实验室
    5140
  • Gemini 3.8 Flash 实测:最强Flash,编程逼近Opus 5,4大场景解析 | 302.AI

    📖 文章导读:Google 六周连发三代 Flash 模型,Gemini 3.8 Flash 定位“最强 Flash”,跑分直逼旗舰,强化编程与 Agent 且维持低价。实测揭示真实使用体验:响应够快,但复杂任务细节完成度明显逊于同级竞品,重速度轻打磨。它是高效搭 Demo的利器,但绝非所谓的“旗舰平替”。 Google 又更新 Gemini 了。从 7 月…

    2026 年 9 月 7 日 基准实验室
    1.6K0
  • 6B 激活参数也能打,Qwen3.8-Flash 实测:性能之外,价格更卷 | 302.AI

    📖 文章导读:千问开源最新模型 Qwen3.8-Flash。总参数 125B、单 token 仅激活 6B,训练计算量为前代 1/9,却敢称“下一代 Qwen4 技术预览”。实力几何?本期实测让它与 GLM-5.3-Flash 展开正面对决,结论表明:推理能力够用但不惊艳,多模态与 Coding 才是真本事,而低到可放心高频调用的价格,是它真正搅动市场的底牌…

    2026 年 9 月 2 日 基准实验室
    1.5K0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

评论列表(9条)

  • Jimmie Zitzloff 2025 年 6 月 4 日 下午5:29

    I have learn several good stuff here. Definitely value bookmarking for revisiting. I wonder how so much effort you place to create the sort of excellent informative web site.

  • Chas Sabiston 2025 年 6 月 16 日 下午5:06

    I just like the valuable info you provide in your articles. I will bookmark your weblog and take a look at again here frequently. I’m quite sure I’ll learn many new stuff proper right here! Good luck for the next!

  • Dulce Sydner 2025 年 6 月 30 日 上午3:22

    Good post but I was wanting to know if you could write a litte more on this topic? I’d be very grateful if you could elaborate a little bit further. Kudos!

  • web page 2025 年 7 月 6 日 下午10:49

    I am very happy to read this. This is the kind of manual that needs to be given and not the accidental misinformation that is at the other blogs. Appreciate your sharing this best doc.

  • pet taxi service in delhi 2025 年 8 月 13 日 下午4:44

    Hi, I think your site might be having browser compatibility issues. When I look at your website in Safari, it looks fine but when opening in Internet Explorer, it has some overlapping. I just wanted to give you a quick heads up! Other then that, fantastic blog!

  • toto macau 2025 年 8 月 18 日 上午10:52

    I’ve been browsing online greater than three hours nowadays, yet I never discovered any attention-grabbing article like yours. It’s lovely value sufficient for me. Personally, if all website owners and bloggers made excellent content material as you did, the internet might be much more useful than ever before.

  • slot gacor hari ini 2025 年 8 月 18 日 下午3:12

    Hi my friend! I want to say that this post is awesome, nice written and include approximately all important infos. I’d like to see more posts like this.

  • prediksi macau 2025 年 8 月 18 日 下午9:17

    I always was concerned in this subject and stock still am, thankyou for posting.

  • ayuda TFM arquitectura 2025 年 8 月 25 日 上午4:46

    I am not very great with English but I get hold this rattling easy to read .