快捷导航
科技信息

黄仁勋,有个呆板人梦

Photo by BoliviaInteligente on Unsplash有界UnKnown原创作者丨钱江编辑|山茶11月尾,黄仁勋在香港科技大学的博士学位授予仪式上,将人形呆板人与汽车、无人机并肩列为未来会实现大规模量产的三种呆板人。这已经不

Photo by BoliviaInteligente on Unsplash
有界UnKnown原创
作者丨钱江
编辑|山茶

11月尾,黄仁勋在香港科技大学的博士学位授予仪式上,将人形呆板人与汽车、无人机并肩列为未来会实现大规模量产的三种呆板人。


这已经不是黄仁勋第一次在公开场所“力挺”人形呆板人,在本年3月份的英伟达GTC大会上,黄仁勋曾与1X Technologies、Agility Robotics、Boston Dynamics、Figure AI、宇树等9个人形呆板人同时登台,发布英伟达人形呆板人通用根本模子——Project GR00T。


黄仁勋在GTC大会上 直播截图

在之后的多个场所里,黄仁勋都向外界传递着雷同的观点:人形呆板人将会成为人类生存里不可缺少的同伴,它终将成为和汽车一样的主流产物。


在关于人形呆板人未来在人类生存中告急职位的看法上,黄仁勋也与马斯克不谋而合。


马斯克也曾在2024年特斯拉股东大会上表现,未来“全天下每个人都会想要一个呆板人 ”,他以为人形呆板人和人类的比例,至少是2比1,甚至能到1比1,未来会有100亿甚至200亿、300亿台人形呆板人。在一次采访中,黄仁勋也坦言,“100年后大街上将随处都是人形呆板人”,马斯克则在X上默契地复兴,“人形呆板人遍及程度将是汽车10倍”。


马斯克在X平台上与黄仁勋互动 截图

黄仁勋也险些成为除了马斯克之外,最认真为人形呆板人站台的科技大佬。但和马斯克更偏重于造出人形呆板人本体、并将其应用于特斯拉的生产和劳动力补给上差别,黄仁勋更专注于做人形呆板人的技能服务商。

英伟达呆板人和边沿盘算副总裁Deepu Talla在东京的一次聚会会议上直言,英伟达对准的是一个由“数十万”家呆板人制造商构成的分散市场,而不是由少数几家重要到场者主导的会合式智能手机市场,“我们为呆板人提供平台,而不是制造呆板人”。

那么,英伟达毕竟想要做一个什么样的呆板人平台?



打造人形呆板软件生态


2021年,波士顿动力曾发布一则Atlas的跑酷视频,在环球范围内第一次掀起了人形呆板人的狂热。


在这则视频中,Atlas可以轻而易举地在各种外形和坡度的踏板之间跳跃、疾驰、上下阶梯。但很多人都不知道,在这则惊艳天下的视频背后,是Atlas十多年如一日的训练。

呆板人和人一样,要学会走路也须要颠末无数次的训练,通过积累足够多的数据才华实现。对于早期的人形呆板人而言,积累数据没有捷径,只能通过一次又一次的跌倒来完成。

以是在Atlas早期的训练视频中,我们会看到它身边时候都跟随着好几个工作职员,以便在它“倒下”的时间实时查抄零件。

但这个过程显然太过漫长,倒霉于人形呆板人快速发展。为了进步人形呆板人的训练效率,人们在AI、大数据和云盘算等前沿技能的根本上,创建了一套利用虚拟天下对人形呆板人举行训练的方法。

通常来讲,人形呆板人的训练,会履历一个从Real2Sim(真实到虚拟)到Sim2Real(虚拟到真实)的过程。也就是先从真实情况收罗数据投入到仿真情况,让呆板人在仿真情况里做充实学习和训练,再将其拉到现实天下里历练。

这个过程由于有相当一部分在虚拟情况中举行,因此不但可以加速训练速率,还可以降低硬件斲丧。

英伟达在人形呆板人范畴的第一个结构,就是搭建一套仿真训练办法,它详细包罗人形呆板人仿真训练场须要利用的虚拟场所构建、人形呆板人与情况互动的仿真训练,以及人形呆板人控制规划学习的仿真训练。

它们分别对应着虚拟协作和仿真平台Omniverse、用于呆板人举动仿真的平台Isaac Sim、用于呆板人算法训练与优化的平台Isaac Lab

英伟达人形呆板人软件生态,有界UnKnown制图

用一个形象的比喻,Omniverse就像一座都会,这座都会里有高楼林立的大厦、门庭若市的门路以及人类生存所须要的齐备根本办法,而人形呆板人就像生存在这座都会的人类一样,他们在都会之中穿梭、从事劳动活动。

Isaac Sim就像是Omniverse这座都会里的健身房一样,人形呆板人须要在这个健身房不停与各类活动东西举行磨合,这就对应着人形呆板人与情况交互的本领训练,它们须要相识路径规划,比如怎么样才华正确抵达所须要的活动东西面前,而且相识每一种东西的利用方法,比如看到哑铃知道是用来抓取的、看到跑步机就知道是用来跑步的。开发者利用Isaac Sim来测试呆板人在差别情况中的体现,不须要现实硬件即可验证呆板人的动作和决定。

Isaac Lab就像Omniverse这座都会里的图书馆一样,人形呆板人须要在这座图书馆之中不停更新知识,它重要聚焦于算法开发与训练,为呆板人提供决定和控制本领,答应开发者在虚拟情况中开发、测试和优化呆板人控制和智能算法。

英伟达GTC 2024大会,Isaac Lab情况里的Digit

以是,Omniverse是一个让呆板人学习如何更好适应现实天下的地方,在如许的虚拟情况中,呆板人可以举行智力训练和动作训练。基于Omniverse,英伟达开发了呆板人开发仿真平台和参考应用步伐Isaac Sim和开源的模块化呆板人学习框架Isaac Lab。

总的来说,英伟达这一套人形呆板人软件生态,可以或许为呆板人数据训练进步效率、降低本钱,让呆板人可以不必在复杂的硬件情况中磕磕碰碰,在进入真实情况之前,可以或许先在虚拟天下里“练兵”。

在本年3月份的英伟达GTC大会上登台的9家人形呆板人,就是这套生态的首批“种子用户”。

在如许一套仿真机制的共同之下,英伟达发布了具身智能通用大模子——Project GR00T,与迪士尼动画《银河护卫队》中的小树品德鲁特同名,寓意着人形呆板人可以如动画中的格鲁特一样拥有超凡的力量。

GROOT使得呆板人可以或许明白和处理自然语言,而且具备多模态感知本领,即它可以或许通过视觉、听觉等多种感官输入来举行信息处理。

但只做软件生态,还无法满意英伟达如许一家以芯片发迹的公司的野心。

为人形呆板人造“芯”


于英伟达来说,公司的根本不绝都是硬件,是GPU。


因此在人形呆板人范畴,黄仁勋也同样盼望可以或许连续英伟达在游戏、在AI、在智能汽车范畴的神话,做出遥遥领先的芯片。

一个人形呆板人也是由多个“芯片器官”构成的,每个芯片负责差别的任务,让呆板人可以或许像人一样思索、感知、办法、交换和生存。人形呆板人须要6-8种差别范例的芯片,包罗中央控制、活动、视觉、语音、传感器和通讯处理芯片,以完玉成身调理、情况感知和与人类交换。

人形呆板人所须要的芯片,有界UnKnown制图

而这些芯片中,有两类是比力关键的。一类是控制呆板人活动门路的芯片,另一类是资助呆板人思索的芯片。

以特斯拉的人形呆板人Optimus为例,这两块芯片分别利用的是特斯拉汽车上利用的FSD自动驾驶芯片,以及特斯拉训练自动驾驶而专门开发DOJO芯片。

在自动驾驶芯片方面,英伟达不绝遥遥领先,其最新发布的DRIVE AGX Thor可提供高达2000TFLOPS的算力,是现在算力最高、效果最好的自动驾驶芯片。

而英伟达的人形呆板人芯片就与Thor同出一源。

本年11月中旬,华尔街日报曾报道,英伟达筹划在2025年推出头向人形呆板人的专用芯片Jetson Thor,在快速增长的呆板人行业中占据一席之地。

Jetson Thor具备高性能AI推理本领,支持运行如GR00T等大型多模态天生式AI模子,采用英伟达最新的Blackwell架构,并配备Transformer引擎,可以支持人形呆板人在视觉、语音和触觉等多模态感知下的交互,加强其与人类的自然交换本领。这也是英伟达首次公开宣称专门为人形呆板人打造的芯片平台。

Jetson是英伟达旗下专为 AI 应用计划的紧凑型盘算机平台,其芯片除了呆板人之外,还应用在无人机、智能家居、医疗装备和工业自动化等场景。

Jetson平台最早可以追溯到2014年,这也是英伟达在呆板人范畴结构的开始。

这一年,物联网、边沿盘算、人工智能和呆板人技能开始崭露锋芒,市场对与之匹配的芯片需求也在连续扩大。同时,这一年人形呆板人也开始投入初期应用。软银在这一年推出Pepper,它是环球首款可以或许辨认和回应人类感情的商用人形呆板人;法国Aldebaran Robotics公司开发NAO呆板人,开始投入教诲范畴,资助门生学习编程、科学和数学。

也是在这一年,英伟达上线Jetson TK1芯片,它具备更强的图形处理本领和AI处理本领,采用了基于Kepler架构的GPU,并联合了ARM Cortex-A15 CPU,实用于低功耗装备。固然它并不是直接针对人形呆板人,但却为人形呆板人处理复杂的视觉感知和盘算提供了硬件支持。

随后,险些每隔一两年,英伟达Jetson系列都会发布新产物,此中Jetson Xavier 和Jetson Orin干系系列对人形呆板人的发展提供支持,而且它们清一色都是推理芯片。

英伟达Jetson芯片应用先容

固然Jetson AGX Xavier和Jetson Orin系列实用于呆板人范畴,但并非专门为人形呆板人而计划,它们同样实用于无人机、自动驾驶等产物。

而筹划于2025年上线的Jetson Thor则是专为人形呆板人打造的,根据英伟达官方表现,Jetson Thor可以或许实行复杂任务,并与人和呆板安全、自然地交互,它采用英伟达最新的Blackwell架构,并配备Transformer引擎,可以支持人形呆板人在视觉、语音和触觉等多模态感知下的交互,加强其与人类的自然交换本领。

结语


人形呆板人并非黄仁勋首次做趋势性推测的范畴,在黄仁勋的光辉汗青中,曾连续两次“押对宝”。


1999年,中央处理单元(CPU)仍然是盘算机系统的焦点,固然图形处理的需求不停增长,但CPU重要负责全部的盘算任务,包罗图形渲染。当时,固然图形显卡市场也在发展,但多数显卡只能提供根本的2D图形渲染,而且较少具备3D加速本领。

黄仁勋却在这一年推出GeForce GPU系列,发布GeForce256,成为天下上第一款GPU,也是首个支持硬件加速的实时3D图形渲染的图形处理单元。

它给游戏玩家带来了亘古未有的顺畅体验,根据“英伟达中国”怀念1999年这款GPU的干系文章形貌,与GeForce256联合的游戏《虚幻竞技场》是首批拥有传神反射效果的游戏之一,在发布的第一年内,便售出了超过100万份。[1]

2006年,黄仁勋发布并行盘算平台和编程模子“CUDA”,使得GPU具备处理通用盘算任务的本领,CUDA的发布被夸张地形容为一场“灾难”。假如将GPU形容为一个拥有上千个工人的工厂,可以驱动工人同时处理成千上万的图形像素,那么,CUDA就像这群工厂工人的管理系统,它不但能做图像渲染,还能做科学盘算、分析大数据、训练AI模子。

这两次,黄仁勋都赢在芯片上。

那么,在人形呆板人范畴,除了做仿真训练平台,黄仁勋为人形呆板人这个“新物种”造的“芯”,能让英伟达再次站在新的期间高点吗?

也许,不到100年,就能看到大街上随处行走的人形呆板人
收藏 邀请
上一篇:雷军回应小米被指贴牌下一篇:马云最新现身,还发言了!
我有任务需求要发布
专业服务商主动承接
快速解决你的需求

专注IT众包服务

平台只专注IT众包,服务数 十万用户,快速解决需求

资金安全

交易资金托管平台,保障资 金安全,确认完成再付款

实力商家

优秀软件人才汇集,实力服务商入驻,高效解决需求

全程监管

交易过程中产生纠纷,官方100%介入受理,交易无忧

  • 微信访问
  • 手机APP