302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

11月6日,备受瞩目的2024年美国总统选举结果终于揭晓,马斯克公开支持的美国共和党总统候选人特朗普获得最终胜利。

作为特朗普的“榜一大哥”马斯克,是人工智能初创公司xAI的始人之一和主要投资者。在11月4日,xAI刚刚官宣Grok API正式开启公测。

根据xAI公司官方发布的文档,可以看到xAI的API目前只有一个模型——“grok-beta”。

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

从官方文档了解到,grok-beta性能与 Grok 2 相当,但效率、速度和功能有所提高。grok-beta上下文长度为128000 token,能够处理更长的文本输入,理解更复杂的上下文关系。此外,grok-beta还支持函数调用和自定义系统提示词。

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

官方关于grok-beta的信息描述并不多,其功能或技术特点尚未完全公开。但可以确定的是,grok-beta就是xAI下一代模型的初版本。


在302.AI上使用grok-beta

目前,302.AI已经支持了grok-beta模型,用户可以快速获取上手实测。那接下来,我们一起通过302.AI实测grok-beta模型看下表现如何。

302.AI提供按需付费的服务方式,为用户提供了更高的灵活性,能够精准地控制开支。

实测使用到的工具有:模型竞技场,聊天机器人,具体获取方式如下:

模型竞技场:

1、进入302.AI,点击使用工具——工具超市——工作效率,找到模型竞技场后创建工具“

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

2、进入模型竞技场后,左侧勾选需要的模型,右侧输入提示词提问即可,通过模型竞技场能够直观对比各个模型的表现:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

聊天机器人:

1、点击使用机器人——找到聊天机器人——模型选择grok-beta,选择完成后点击【创建聊天机器人】:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

2、进入聊天机器人后选择点击设置,可以打开实时预览功能,

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?


模型实测对比:

1、推理能力

对比模型:gpt-4o、claude-3.5-sonnet-20241022、grok-beta

使用工具:302.AI的模型竞技场

提示词如下:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

先来看下gpt-4o回答,虽然答案长,但是最终的答案是错误的:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

再来看下claude-3.5-sonnet-20241022的回答,答案正确:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

最后来看下grok-beta的回答,也是错误的:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

2、理解能力

对比模型:gpt-4o、claude-3.5-sonnet-20241022、grok-beta

使用工具:302.AI的模型竞技场

提示词:我目前有两根香蕉,我昨天吃掉一根,现在还有几根

这个看似简单的数学问题实际上可以测试出模型的文本理解能力,但是根据三个模型的回答来看,只有GPT-4o回答正确,而Claude-3.5-sonnet-20241022和Grok-Beta均落入了语境陷阱里:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

3、代码能力

对比模型:grok-beta、claude-3.5-sonnet-20241022

使用工具:302.AI的聊天机器人——Artifacts功能

提示词:使用React和SVG图形创建一个简单的2D生存游戏,玩家需要在10×10网格板上生存尽可能长时间,避开AI对手,收集物品以增加分数。

可以看到结果grok-beta基本能把整个游戏的框架制作出来,可以理解蓝色为AI,走动的红色为玩家,但是缺乏可以增加分数的物品元素:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?

对比grok-beta的效果,可以看到claude-3.5-sonnet-20241022生成的游戏更加完整,玩家、AI、可以增加分数的物品三个元素都有:

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?


总结

通过实测发现,grok-beta在推理能力方面能力不如Claude 3.5-sonnet-20241022和其他同类产品般理想,而在文本理解能力和代码生成能力上,尽管grok-beta展现出了不错的理解层次,但在应对复杂场景时仍有一定的局限性。不过,grok-beta只是初始版本,目前发现出不足并不是坏事,这能够及时发现问题并通过后续的改进提升相关性能。

目前grok-beta模型为纯文本版本,而xAI透露预计在下周将发布一个可以摄取图像的多模态版本,或许我们期待下一版本的grok-beta看看。当然,302.AI也会持续给用户更新相关资讯,为大家带来更多模型性能和功能的实测!


👉立即注册免费试用302.AI,开启你的AI之旅!👈

为什么选择302.AI?

● 灵活付费:无需月费,按需付费,成本可控
● 丰富功能:从文字、图片到视频,应有尽有,满足多种场景需求
● 开源生态:支持开发者深度定制,打造专属AI应用
● 易用性:界面友好,操作简单,快速上手

302.AI 基准实验室 | xAI官宣Grok API开启公测,grok-beta表现能否达到预期?
All Rights Reserved by 302.AI
赞 (0)
302.AI Test Team
上一篇 2024 年 11 月 6 日 下午7:06
下一篇 2024 年 11 月 9 日 上午10:30

相关推荐

  • GPT-6.1 Terra实测:对比 Kimi K3.1 Pro,更高的排名意味着更全能么?| 302.AI

    文章导读:OpenAI 发布中档主力模型 GPT-6.1 Terra,接近旗舰的视觉和电脑操作能力,三倍以上的执行速度,Sol 一半的 Token 单价,幻觉率暴降,更是 GPT-6.1 家族中唯一支持“零思考”秒回的模型。实测验证,性价比是核心优势,但复杂创意任务则短板明显,是高频自动化任务之选。 10月27日,OpenAI再次更新GPT-6.1家族,带来…

    6天前 • 基准实验室
    6450
  • Kimi K3.1 Pro 实测:3D与前端视觉惊艳,1/5 价格拿下旗舰级编程丨302.AI

    📖 文章导读:月之暗面发布 Kimi K3.1 Pro,历经 99 天 RL 重炼,AA 智力指数冲至全球第四,预定最强开源模型,API 价格再砍三分之一。实测发现,K3.1 Pro 在视觉审美上优势突出,力压 GPT-6 Astra,编程基准也实现超越。本文带你速览升级亮点与真实生产力边界,看国产旗舰如何与海外顶流正面掰手腕。 从 K3 破局到 K3.1 …

    2026 年 10 月 27 日 • 基准实验室
    1.5K0
  • MiniMax M3.1 Flash实测:对比 DeepSeek 1017,有何亮点丨302.AI

    📖 文章导读:匿名 25 天、默默消化 200T token 的 Space Bunny 终于揭面——正是 MiniMax M3.1 Flash。与仅隔 2 天发布的 DeepSeek-V4.1-Flash-1017 正面对决,跑分互有胜负,但二者并非简单的“双强并立”。实测验证,M3.1 Flash 不是平替,而是另一把工具——适合谁、怎么选,一文讲清。 …

    2026 年 10 月 23 日 • 基准实验室
    1.7K0
  • DeepSeek V4.1-Flash-1017 实测:Flash 档跑进旗舰分数段,能力上限再被刷新丨302.AI

    📖 文章导读:DeepSeek-V4.1-Flash-1017 低调上线,基准成绩杀进旗舰分数段。DeepSWE 通过率 77.0,压过 Claude Opus 5 和 GPT-5.6-Sol;单任务成本不到 8 毛,只有对手的百分之一。实测视觉和创意已经够打,工程完成度仍有代差。这不是一次常规升级,是 Flash 这个档位的重新定价。 详细了解DeepSe…

    2026 年 10 月 21 日 • 基准实验室
    1.8K0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

评论列表(1条)

  • Yolande Etheridge 2025 年 7 月 28 日 下午6:29

    My partner and I absolutely love your blog and find most of your post’s to be just what I’m looking for. Do you offer guest writers to write content available for you? I wouldn’t mind publishing a post or elaborating on a number of the subjects you write concerning here. Again, awesome site!