全球顶级角斗场RoboColiseum爆冷!Opus 5.5竟击败GPT6、Gemini 4

新智元
RoboColiseum评测显示,Claude Opus 5.5以76.28%的总分略胜GPT-6 Astra,但四款顶尖大模型在通用操作上均不及专用策略模型。测试还揭示,图像质量、动作反馈和历史记忆是影响机器人表现的关键因素,灵巧手与精细操作仍是大模型的明显短板。

如今,AI正式杀入物理世界!

在具身能力方面,语言模型到底谁能称王?

更残酷的问题是,机器人公司耗费数年苦练的本领,会被通用LLM直接碾压吗?

就在今天,GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 以及 Gemini 4 Argon 等全球最顶尖的多模态大模型齐聚一堂。

在常态化具身智能仿真评测平台 RoboColiseum(机器人角斗场) 上,它们展开了一场真刀真枪的「肉搏战」。

这份榜单不仅彻底炒热了具身智能圈,更无情地揭露了当前顶尖大模型在控制机器人时的「隐藏命门」!

揭榜时刻:四模型大乱斗,结果令人意外

本次测试,所有的顶尖模型都接入了统一的控制框架 Agent2Act,在同样的任务、同样的指令下接受大考。

  • Claude 摘得桂冠,「高智商、低动手」成通病

在综合榜单中,Claude Opus 5.5 爆冷击败 GPT-6 Astra,以 76.28% 的总分拿下四款大模型中的第一。GPT-6 Astra 以 75.99% 紧随其后。

最令人兴奋的是,在「指令跟随」和「空间理解」这两个极其考验「脑力」的赛道上,大模型的得分碾压了传统的机器人专用策略模型。

但是! 一到了「通用操作」环节(比如开门、倾倒、上货等需要复杂动作的任务),四大顶尖模型全军覆没,统统落后于专用 Policy 模型Paimon。

结论: 现在的顶尖大模型是典型的「眼高手低」——脑子转得极快,空间方位算得极准,但一让它做复杂的连贯物理动作,立马手忙脚乱。

  • 各有所长,不看总分看「绝活」

这场角斗并不是单维度的碾压,四个模型各有千秋:

Claude Opus 5.5堪称全能王者,空间理解和通用操作能力领跑全场。

GPT-6 Astra是听话小能手,在「指令跟随」和「扰动抵抗」上稳居第一。

而GPT-6.1 Sol是性价比之王!在参考价格和 Token 消耗下,它展现出了极佳的成本控制,是落地应用的高性价比之选。

Gemini 4 Argon虽然总分垫底,但它的「抗扰动」能力出人意料地超越了 Sol,且在「包裹分拣」这种长程任务上表现极其惊艳。

大模型的「阿喀琉斯之踵」——看图怕糊

如果机器人的摄像头稍微有点噪点,或者光线不太好怎么办?测试结果让人捏了一把汗:图像质量变差,是所有大模型共同的致命弱点!

在加入噪点、镜头遮挡等图像质量扰动后:

Claude 分数下降 0.20

Gemini 下降 0.26

Astra 下降 0.32

Sol 直接暴跌 0.77分!

也就是说,加点马赛克,AI 就直接「双目失明」。这给未来的真机部署敲响了巨大的警钟。

「认识」不等于「会用」

测试中出现了一个非常经典的画面(端锅任务):大模型明明认出了那是一口锅,但它抓取的方式极其别扭,简直像在拿一个烫手的山芋。

但如果我们给它加上一条明确的交互提示(比如「请抓住锅柄」),它立刻就能完美地双手稳稳端起。

双臂端锅失败|双臂端锅成功

这说明大模型缺乏人类的「物理常识」。 它能在二维图片里圈出「这是锅」,却不知道在三维现实中,锅必须端着两边才稳。

去掉历史记录,AI失败率暴增

研究团队做了一组「剥夺实验」:分别撤掉反馈、深度信息、抓手说明、历史记录等配置,看看机器人还能不能完成任务,又要多折腾多久。

拿掉动作偏差反馈,它就更难做出正确判断,指令跟随成功率从90%降到80%,平均规划决策从16.7次增至35.6次,耗时从32.50分钟涨到58.26分钟。

一次动作没做好,后面可能要花更多时间补救。

拿掉深度信息,成功率降到80%,平均下发控制步数增加到158.2步。不过,平均耗时反而缩短了。 

取消相机投影自检后,机器人开始反复抓取和物体脱手 

不告诉它抓手的形状和接触方式,它可能连「手该怎么摆」都反复试不明白。

最直观的一组,是拿掉历史记录。

在单独测试的4种「把积木放进盒子」布局中,完整系统全部成功;没有历史记录后,只成功了2种。

失败的两次都已经把积木拿起来,却在放置阶段反复尝试相同动作,堪称「鬼打墙」!

积木入孔:去掉历史记录,Astra能抓取积木但放置失败

物体拿到手了,任务却卡在了后半程。 

这证明了深度视觉、动作反馈和历史记忆等,是具身智能闭环中不可或缺的灵魂。

打破桌面限制,走向全场景

以往的机器人测试往往局限在桌面上抓抓放放,但这次的报告展示了 GPT-6 Astra 更广阔的潜力:

它能协调底盘、躯干和机械臂去扔垃圾、开门;能在家居场景里跨房间去厨房拿一罐雪碧放到餐桌上。

全身控制:Astra完成垃圾拾取与投放|Astra移动取罐、携物行进与餐桌放置

更牛的是,它能通过同一套系统,无缝控制 ARX、AgileX、G1、G2 等形态各异的机器人!

棋子收纳:Astra在4种本体上均可完成

语言模型通吃具身智能?灵巧手和精细任务仍是明显短板

GPT-6 Astra竟然这么强,是不是说语言大模型可以通吃具身智能?

测试发现,并不能。

大模型能搞得定躯干的「大开大合」,却搞不定指尖的「穿针引线」。

一旦面对需要「灵巧手」操作的精细活——比如让它叠碗,或者从塞满的书架上取出一本书,强如 GPT-6 Astra 也会立马「歇菜」,手忙脚乱,屡战屡败。

灵巧手叠碗:Astra能够接近、接触,但是尝试抓取失败|灵巧手取书:Astra多次调整抓取姿态,仍取书失败

即使进一步补充手指、手掌的几何信息,机器人仍未成功端起一只碗。 

而对手机充电和插网线这类精细任务,对GPT-6 Astra而言依旧艰难,能拿起手机和网线,却对不准插口方向。

手机充电:Astra抓取成功,但充电口方向错误无法接入|插网线:Astra能够夹起网线,但无法完成插入

这组实验画出了 Astra 这类大模型的能力边界。

它已在全身协同和跨本体操作中表现突出,但灵巧手任务和精细操作仍有待突破。

而这些难住大语言模型的细活,恰恰是专用策略模型胜出的机会。

细节决定胜负,机会留给早有准备的人。

什么是 RoboColiseum?对齐真实世界的「度量衡」

看完这场神仙打架,你一定会好奇:究竟是什么样的一个平台,能把这些心高气傲的全球顶尖大模型拉到同一条起跑线上,并且测出这么详尽、直击痛点的数据?

这就是我们今天隆重介绍的——常态化具身智能仿真评测平台 RoboColiseum!

在具身智能圈,一直有一个巨大的痛点:Sim2Real Gap(仿真到现实的鸿沟)。

很多模型在电脑模拟器里猛如虎,一放到真实物理世界里的机器人身上,遇到点光照变化、相机噪点,立马手忙脚乱、现出原形。测试成本极高,周期极长。

RoboColiseum 彻底打破了这一魔咒!

它基于高保真仿真环境构建,渲染和物理交互极限逼近真实世界。经过严苛测试,其仿真评测与实机部署的相关性高达 89.5%!相同模型在仿真与现实中的表现差异小于 10%。

这意味,虚拟即现实!

开发者完全可以把它当成真实世界的「可靠前哨站」。在花大价钱买真机、花几个月做调试之前,先在 RoboColiseum 里跑一圈,快速筛掉不靠谱的模型,精准定位能力短板。

精准归因你的「弱点」

只给一个干巴巴的「成功率」有什么用?RoboColiseum 推出了四大能力子榜、78个高保真任务:

1.指令跟随: 懂不懂人话?能不能分清红绿、大小、逻辑常识?

2.空间理解: 会不会排队?懂不懂上下左右和精准对齐?

3.扰动适应: 换个背景、调暗灯光、弄花镜头,你还能不能行?

5.通用操作: 开门、倒水、上货、双臂协同,组合拳打得怎么样?

不仅如此,评测哪怕失败了,平台也会告诉你:在哪一步摔倒的?动作卡在哪里? 彻底告别「盲盒式」炼丹!

AI Agent 一键提交,30 分钟出成绩

搞环境配置太折磨人?算力成本太高?

在 RoboColiseum,这些统统不是问题。开发者最快 5分钟即可完成注册与提交。

无需上传模型代码和核心权重(保护你的商业机密),只需本地部署推理服务并接入标准接口,最快 30 分钟,一份极其详尽的分项成绩、任务步骤解析甚至模型推演视频就会送到你面前!

平台已经有了 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 等全球最顶尖的多模态大模型的评测结果,直接拿来做对比,自己究竟处在行业什么身位,一目了然。

来角斗场,和AI三巨头正面交锋

Coliseum,指的是古罗马圆形竞技场,这是一个公开、中立、不论出身、用实力说话的终极试炼场。

RoboColiseum 的诞生,正是为了给全球具身智能赛道提供一把绝对公平、结果可信、过程可复现的标尺。

这里是全球唯一一个,能将OpenAI、Anthropic、谷歌三巨头拉下神坛的终极试炼场。

在 RoboColiseum 之前,你只能在新闻里仰望 GPT-6 Astra、Claude Opus 5.5和 Gemini 4 Argon的恐怖参数;但在这里,它们只是你在榜单上需要逐一击溃的「假想敌」。

只需 30 分钟,一键接入高保真虚拟世界,你的模型就能直接与这个时代最伟大的 AI 展开同维度的巅峰对决!

打败魔法的只有魔法,碾压大厂的唯有实力!

我们期待在万众瞩目的榜首,见证你亲手终结「三巨头」的统治!

本文来源:新智元

相关文章