一文读懂Meta Connect 2024：Llama 3.2来了，AR眼镜终极形态Orian亮相

腾讯科技作者 吴彬 郝博阳

编辑 郑可君

北京时间9月26日1:00，一年一度的Meta Connect 2024于加利福尼亚州门洛帕克召开。扎克伯格以意料之中的新品Quest 3S作为开场，公布Meta的元宇宙之梦开始向入门级消耗市场遍及。

同时，Meta还公布了其AI大模型Llama 的最新3.2版本，提供了视觉多模态本事，团结最新的AI语音对话本事AI Voice 。这些模型发布最大的意义在于，Meta补齐了全部的主流多模态，这为其融合AI和XR硬件打下了结实的根本。同时，Meta公布的几项AI应用，如AI实时翻译、堪比“Her 2.0”的实时AI数字人也在业界办理方案上更进了一步，有成为杀手应用的潜力。

除此之外，本次发布的AR眼镜Orion，小扎称之为地表最强AR眼镜，它也给未来的元宇宙天下提供了更多入口。固然仍不完善，但也是一个承载着AI空间盘算装备终极形态野心的产物。据外媒报道，这款产物的本钱超1w美金。

Mate仍旧对峙在元宇宙和AI两条路上一连进步，并通过产物的融合，积极将假造实际和人工智能团结在一起。

2024年的Connect大会，扎克伯格再一次向天下展示了他结构下的假造实际天下的入口形态，我们看到了假造与实际的融合，自主可控和人工智能的融合，以及实际产物形态和未来利用体验上的融合。

扎克伯格总结发布会：推出5大新品，Meta正积极构建更开放的未来

Meta Quest 3S开始登场，这次它罕见解将产物代价先于参数和新功能更早进行发布。

扎克伯格急于让全部人知道这款全新的VR眼镜只卖299.99美元，比客岁同期发布的Quest 3足足自制了200美元，而且，它相比Quest 3并没有减配太多。

Meta Quest 3S拥有和“年老”Quest 3雷同的高通骁龙XR2 Gen 2芯片和8GB运行内存，这意味着，它们两者在盘算数据的处理惩罚本事上完全雷同。

同时，Quest 3S使用了和Quest 3完全雷同的Touch Plus控制器，支持眼手部动作捕捉技术。

以致，Quest 3S还拥有更长的续航时间。在Meta给出的官方数据中，内置4324mAh电池的Quest 3S可以实现2.5小时的续航，而拥有更大电池容量的Quest 3（5060 mAh），最长只能工作2.2个小时。

作为一款自制款的假造实际眼镜产物，Quest 3S的遗憾之处是并没有使用更主流的Pancake光学结构，它使用了和Quest 1、2系列同款的菲涅尔透镜，这种设计相对更加成熟且本钱低，但也意味着它团体的体积和重量会比Quest 3更大。

但两款产物真正的区别是表现效果上的差异：Quest 3S采取1832 x 1920（20 PPD每度像素）快速切换 LCD，革新率为 90/120 Hz。

它的水平和垂直视场角只有96和90度，相比之下，Quest 3拥有2064 x 2208（25 PPD每度像素）以及水平110度、垂直96度的视场角。

很显然，Quest 3S彰显了Meta在多年元宇宙梦想下的野心，它用焦点设置与主流产物相靠近、但代价却更自制的假造实际眼镜，推动VR眼镜向更广泛的用户群遍及。

而驱动Meta做出这样一款产物的另一个动力，是其还在渐渐美满中的假造实际生态。

在发布会上，扎克伯格体现Quest 3S将支持杜比视界技术，同时增长屏幕辨认功能，能辨认正在用的电脑并一键投屏。这拓展了Quest 3S这类假造实际头显产物更广泛的使用场景。

不外Meta搞砸了一件事，在现场演示这项技术的时间，Quest 3S不测的出现了崩溃，引得现场一阵欢呼，扎克伯格无奈赶紧敷衍已往。

随后，扎克伯格展示了最新版本的Horizon Worlds，固然看起来还是很像“过家家”游戏，但也算正在渐渐进步着：本年推出了Avantar的多人同看Youtube的功能，希望以此吸引更多的油管用户。

第三方的应用方面，最大的惊喜来自《蝙蝠侠：阿卡姆暗影》，这款游戏将于10月22日发布，并将与新Quest 3和3S捆绑贩卖，有效期至来岁4月。而之前已公布过的《异形：流氓入侵》和僵尸游戏《亚利桑那阳光》也会登岸Quest平台。别的，Meta还公布将为Quest推出Wordle（纽约时报天天一更的笔墨游戏）。

哦，对了，为了让你买新的Quest 3S，Meta自动停产了Quest 2和Quest Pro，在卖光这两个产物的库存货之后，你能选择的，只有代价更自制的Quest 3S，或者是设置更高的Quest 3。

Meta推Llama 3.2多模态大模型，轻量版能在手机上运行

与上届Connect 大会一样，本次大会的主角也少不了AI。

扎克伯格公布了其旗下根本模型Llama 的3.2版本更新， 其大模型提供90B和11B两个版本，端侧模型则有1B和3B两个巨细。

小扎展示了针对Llama 3.2开发的一个新的产物功能：通过上传图片，不仅可以做到清除、添加邪术画笔功能，而且也可以根据笔墨形貌直接更换人物服装，以致用彩虹替换如今的配景。

根据Mata提供的技术文档，可以直接把Llama3.2明白为一个支持多模态的Llama 3.1版本。由于Meta在图像辨认练习过程的过程中，并没有更新其语言模型的参数。

在练习方法上Meta用了较为通例的方法，它为Llama3.1增长一个图像适配器和编码器，用Diffusion模型练习对应的笔墨和图像，再进行范畴内容精校。

末了在对模型进行调解的后练习（Post Training）阶段，Llama 3.2还通过多轮的监督微调、拒绝采样（利用一个辅助分布来天生样本，并按照肯定的概率接受或拒绝样本）和直接偏好优化让模型进行对齐。

风趣的是，在这一过程中，Meta利用Llama 3.1天生多组图像字幕，以优化模型对图像的形貌。

Meta利用Llama 3.1天生多组图像字幕，以优化模型对图像的形貌

在Meta 给出的测试效果中，Llama 3.2的90B版本的图形推理本事在多项测试中领先GPT 4o-mini。而11B版本则全面逾越Claude 3的小版本Haiku版本。

扎克伯格体现，Llama 3.2的端侧版本 1B 和 3B 将是最强的端侧AI。

它当前能接受笔墨输入和输出，支持最大 128K 令牌的上下文长度。这两个端侧模型是通过对Llama 3.1 8B 和 70B 的剪枝（修剪掉大模型中利用率较低的参数）和蒸馏（利用大模型做西席，小模型学习的焦点参数练习模式）练习而成。在微调练习过程中还到场了由Llama 3.1 405B提供的合成数据，以优化其在摘要、重写、指令遵照、语言推理和工具使用等多项本事上的体现。

发布会现场表现，Llama 3.2的3B版本在多项指标中逾越谷歌6月份发布的 Gemma 2 2B 模型和8月微软发布的Phi 3.5 3.8B模型，尤其在涉及端侧常用的如摘要、指令跟随和重写使命中分数上风显着。

比如在测试服从用户指令的本事的测试集IFEval上，Llama 3.2 3B的版本比划一巨细的Phi 3.5提拔高出20%。在测试调用工具本事的两项Benchmark上，Llama 3.2也上风显着。

这让Llama 3.2 在端侧的实际应用体验上能做到小扎所说的目前“最强”。不外在根本本事如推理、数学上，Llama 3.2 3B 大多落伍于Phi 3.5 mini。

别的，这些模型在发布当天即支持高通和联发科硬件，并针对 Arm 处理惩罚器进行了优化。

除了能支持图像多模态明白的Llama 3.2，Meta此次Connect上还推出了Meta AI Voice。一次性补齐了全部主流多模态功能。在现场演示中，它和GPT-4o一样，能支持对话打断，声音也很天然，但遗憾的是并没有展示它有GPT-4o那样丰富的语调和感情体现。

固然性能仅仅只是追平了GPT-4o，但Meta AI Voice找到了新卖点：它提供了5位名流的语音选项，比如007中冷面女上司的朱迪·丹奇、摘金奇缘的女主角林家珍的语音。

比因由疑似偷取斯尤物·约翰逊声线而被告上法庭的OpenAI，Meta显然在这方面做得更靠谱。据《华尔街日报》报道，Meta已为每位名流的声音付出了“数百万美元”。一些名流希望限制其声音的使用范围，并确保在 Meta AI 被使用时他们不会承担责任。

据《路透社》报道，名流版语音将于本周在美国及其他英语市场通过 Meta 旗下的应用眷属推出，这些应用包括 Facebook、Instagram 和 WhatsApp。

除了对根本模型本事进行补齐，Meta在AI应用方面也展示了一些新功能。这些功能在很大水平上都是现有AI办理方案中支持的功能，但Meta做的更进了一步。也更贴合其外交媒体或AI眼镜的使用场景。

比如如今Meta AI Studio支持直接构建AI数字人体系。在现场展示中，与数字人对话的延长很低，其动作效果和声音都很真实天然。

Meta AI Studio支持直接构建AI数字人体系

想象一下，有一个用云云真实声音和面目面貌和你对话的AI作为你的感情伴随者，我愿称之为“看得见”的 Her 2.0。

它是否将开启AI伴随型产物的黄金期间，还待用户来进一步查验。

另一个非常惊艳的产物是Meta Live翻译，借助Meta AI新的多模态本事，它能直接辨认并将原始语言的口型更换到目标语言的口型。这一功能实际上已被HeyGen等公司先一步实现了，但基于Meta应用的覆盖广度，它大概将成为第一个完全盛行的相关产物。

固然Llama 3.1已经是目前开发者使用量最大的开源模型，但为了在应用层也能有更好地拓展，Meta在此次Connect大会上也发布了首个官方LLama产物开发工具 Llama Stack的发行版，它能极大简化开发者在差异情况中使用 Llama 模型的工作流程，还能实现检索增强天生（RAG）和集成安全功能的工具化应用的一键摆设。

此次Llama 3.2的发布对Meta而言，意义极为巨大。它补齐了Llama在前沿多模态模型上的焦点短板，也为其后续的AI硬件产物，如支持AI智能的雷朋眼镜的多模态功能提供了根本。

客岁Meta Connect大会上，大概谁都没想到，最火的产物不是Quest 3，而是Meta和眼镜制造商雷朋（Ray-Ban）一起推出的二代AI眼镜产物。

只管一代岑寂无闻，也不妨碍西欧的科技发烧友们抢购二代雷朋智能眼镜，据IDC统计，Meta已出货高出70万副雷朋眼镜，尤其是本年第二季度的订单量，要比第一季度增长了一倍多。而在整个雷朋Meta眼镜的生命周期内，制止2024年5月，其环球销量已突破100万台，市场预计2024年整年出货量有望高出150万。

Meta趁热打铁，本年立即推出了它的新产物。

与其说是新产物，不如说这是一个全新的半透明格局，由于它团体的设计上和客岁如出一辙。

但它拥有科技感更强的透明眼镜本体——果然全天下的硬件公司对于“科技感”的明白都差不多，必须半透明。

Meta在这一代的眼镜中增长了更多AI功能，此中最大的改进是增长了实时的人工智能图像辨认功能，可以使用户向雷朋Meta眼镜扣问当前看到的场景或者物体。用户还可以通过眼镜直接扫描二维码并拨打视线中看到的电话号码。

别的，这款太阳镜还支持了雷同智能手机的提示功能，到场了包括英语对法语、意大利语或西班牙语之间的实时语言翻译，以及与亚马逊音乐、Audible和iHeart Radio等音乐流媒体应用步伐的集成。

Orian早就应该量产了，但是由于疫情Meta全面紧缩了预算，扎克伯格决定搁置发布，这导致Meta直到2024年才拿出了首款的AR眼镜产物。

这是一款重量仅98克的AR眼镜，这个重量在AR眼镜产物中并不算特别轻。

Orian的镜框由镁合金制成，它比铝合金更轻，也更容易散热。镜片由碳化硅制成，它耐用、重量轻、折射率高，这使得眼镜上投影仪发射的光线可以扩展到更大的视野面积。

但称Orian是一副AR眼镜，好像并不严谨。它想要正常工作的话，必要通过一个腕带和一个盘算主体协同。

盘算主体提供了更多的处理惩罚算力，眼镜无法阔别它单独工作，想要正常使用Orian，就得无时无刻地将盘算主体佩戴在身边。

腕带的作用更故意思，它由高性能纺织质料制成，并使用肌电图 (EMG) 来明白与手势相关的神经信号。在几毫秒内，这些信号会被转换成输入信号，转达给盘算主体，有点科幻影戏那意思。

表现部分，Orion拥有70度的视场角，框架内配有Micro LED投影仪，可以把影像投射到镜片的硅基片上，这一点和目前全部的AR眼镜工作原理雷同。

扎克伯格体现希望人们使用Orion来实现两个告急目标：与叠加在实际天下上的数字信息相互互换，以及与人工智能互动。

后者比力好明白，Orion拥有和雷朋Meta眼镜雷同的AI本事，包括全新到场的图像辨认本事以及语言交互本事。

前者更抽象。在现场，Meta演示了全息影像和实际天下团结的场景，Meta为这款眼镜开发了AR版本的Messenger的应用，它可以实实际时的全息投影视频通话，就好像对方站在你身边一样。

为了宣传AR眼镜，Meta还搬出了黄仁勋作为第一波体验Orion的用户，扎克伯格说：“老黄试过都说好”！

在扎克伯格看来，AR眼镜的成熟之路将是一个循规蹈矩的过程。一方面，会通过无表现屏的人工智能眼镜，比如雷朋 Meta实现更快速地遍及。

另一方面，将通过带小表现屏的眼镜，比如Meta即将推出的Hypernova遍及，这种眼镜可以提供更轻松地触控交互，比如与Meta AI交互或者与朋侪之间的通信。

小扎体现，Orion代表AR眼镜的终极形态：成熟的AR眼镜拥有足够的盘算本事，让你可以把智能手机留在家里。

话虽云云，虽脱离了手机，但出门还得带着盘算主体协同，这也离我们想象中的终极形态有些差距。

除此之外，另有一盆实际的冷水很及时地泼了下来：Orion的续航只有2小时。往多了说，Orion只能让你在假造天下里当2个小时的超等豪杰。

而且想要实现AR眼镜的终极自由大概不会太自制。据The Verge和TechCrunch等外媒报道，在展示测试机时，Meta的工作职员体现目前Orion的硬件本钱高出了10000美元。这意味着这款产物的代价要远超苹果的Vision Pro。

从2022年折戟元宇宙被多方讽刺，到2023年成为开源AI的王，再到本年用智能眼镜叩开新一代AI硬件的大门。扎克伯格在这三年之间完成了一项险些不大概的绝地反击。

这期间他的两个告急决议：做开源AI和开发轻量级智能眼镜，都在本日的Connect上着花效果。

从对搭载了AI功能的雷朋眼镜的展示中，我们确实看到了眼镜这一载体在AI 期间的上风：它既可以或许利用语音调用大模型，更能最直接的利用起多模态AI的潜力。直接的“看”比起用手机“扫”在用户体验上要天然的多。而这种直接很大概会决定下一代智能装备的转移。

末了发布的Orion，更是一个承载着AI空间盘算装备终极形态野心的未来之作。比起厚重不适的Vision Pro，小扎的轻量化MR愿景更像是空间盘算的未来。而如今这个愿景已经有了雏形。假如AI期间的智能装备迁移注定发生，比起AI Pin之类的小打小闹的实行，Meta擦?鲱靠近其门槛的公司。

假如和一个身处2022年的人聊起这统统，他肯定不会信托，扎克伯格这个看起来有点轴的技术宅，他真的信守答应，带着我们离元宇宙的入口越来越近。