谷歌DeepMind公布了他们的秘密项目——Gemini Robotics!这不仅仅是家用扫地机器人的升级,而是将人工智能的智慧融入钢铁之躯,使机器人能在物理世界中展现出人类甚至更卓越的能力。

全能的“多面手”

Gemini Robotics的核心是其先进的Gemini2.0模型。Gemini本身就能处理文本、图像、音频和视频,功能强大。

而Gemini Robotics在此基础上,赋予了机器人理解物理空间并采取行动的能力。这意味着,无论是执行文字指令、识别图像、理解语音,还是分析操作视频,Gemini Robotics都能迅速理解并转化为实际操作。

想象一下,未来我们只需轻声吩咐,或者展示一张图片,Gemini Robotics就能高效地完成家务,这无疑令人兴奋。

最引人注目的是,Gemini Robotics的泛化能力。它不仅限于执行预设程序,而是拥有Gemini强大的世界知识,能迅速理解新物体、指令和环境,找到解决方案。

谷歌自豪地宣布,在综合泛化基准测试中,Gemini Robotics的性能比其他顶尖的视觉-语言-动作模型高出两倍以上。它就像一个学霸,不仅考试轻松,还能解决实际问题。未来遇到突发情况,再也不用担心机器人“掉线”了!

QQ_1741834367635.png

“秒懂你心”的贴心助手

在人与机器的交互中,Gemini Robotics也表现出惊人的互动性。它能理解日常口语化的指令,并能快速应对指令的变化或环境的变化。

更令人惊叹的是,它能在接收到初步指令后,无需过多干预就能自主完成任务。设想一下,你一边悠闲地喝咖啡,一边随口说一句“帮我收拾一下桌子”,Gemini Robotics就能迅速领会,并灵活应对各种小意外,比如不小心碰倒了水杯,它也能及时调整动作。

尽管Gemini Robotics“智商”高,但它的“情商”——即灵活性——同样出色。许多我们人类习以为常的精细动作,对于传统机器人来说往往是巨大的挑战。

但Gemini Robotics却能轻松应对,无论是折纸、打包午餐,还是制作一份精致的沙拉,它都能展现出细腻的动作和精准的协调性。未来想吃个爱心便当,或许只需要给Gemini Robotics一个简单的食谱。

“百变金刚”适应性强

令人惊喜的是,Gemini Robotics还具备多形态适应性。它不仅适用于特定的机器人形态,无论是双臂机器人平台ALOHA2,还是人形机器人Apptronik的Apollo,Gemini Robotics都能轻松驾驭。

这意味着,未来我们可以看到各种搭载Gemini Robotics的智能机器人,在不同领域发挥独特作用。

QQ_1741834392508.png

除了Gemini Robotics这个“全能选手”,谷歌还推出了Gemini Robotics-ER。这里的“ER”代表“具身推理”(Embodied Reasoning)。

这款模型更侧重于提升机器人对物理世界的空间理解能力,并能与现有的低级别控制器相结合。它可以大幅提升Gemini2.0在物体指认和3D检测等方面的能力。

通过结合空间推理和Gemini的编码能力,Gemini Robotics-ER甚至可以“即时”创造全新的机器人功能。例如,当看到一个咖啡杯时,它就能自主判断出最合适的抓握方式和安全的移动轨迹。

当然,在让AI走进现实世界的同时,安全问题也是重中之重。谷歌强调,他们采取了全面的安全措施,从底层的电机控制到高层的语义理解,都进行了细致的考虑。

Gemini Robotics-ER可以与机器人原有的安全控制器进行交互,判断潜在动作的安全性,并生成合适的响应。此外,谷歌还发布了一个新的数据集ASIMOV,以评估和提升具身AI和机器人的语义安全性。

他们还与内外部专家、政策制定者以及责任与安全委员会紧密合作,确保Gemini Robotics的发展符合伦理和安全标准。

为了加速Gemini Robotics的落地应用,谷歌已经与多家机器人公司展开合作,包括Apptronik、Agile Robots、Agility Robotics、Boston Dynamics和Enchanted Tools等。

通过与这些行业领军者的合作,我们可以期待在不久的将来,看到更多搭载Gemini Robotics的智能机器人出现在我们的生活和工作中。

谷歌的Gemini Robotics无疑为人工智能和机器人领域注入了新的活力。它强大的多模态理解能力、出色的泛化性、自然的人机交互以及精湛的操作技能,都预示着一个智能机器人时代即将到来。

至于这到底是“打工人福音”还是会带来一些“小小的”职业挑战,就让我们拭目以待吧!毕竟,谁不想拥有一个聪明又勤劳的机器人助手呢?

官方博客:https://deepmind.google/discover/blog/gemini-robotics-brings-ai-into-the-physical-world/