Llama 4重磅来袭，Meta叫板OpenAI

出品｜虎嗅科技组

作者｜孙晓晨

编辑｜苗正卿

头图｜视觉中国

本地时间4月5日，Meta推出其迄今最为强大的开源AI模子Llama 4系列，其首批推出的Llama 4系列模子包罗Llama 4 Scout和Llama 4 Maverick。别的，还有更为强大的Llama 4 Behemoth仍在练习中。

据Meta先容，Llama 4 Scout包罗170亿生动参数、16个专家模子及1090亿总参数，在各种广泛继承的基准测试中，性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文长度为1000万token，这将为AI模子的功能打开新的大概，如多文档择要，剖析大规模用户运动以举行个性化使命，以及在巨大的代码库中举行推理。

而Llama 4 Maverick也拥有170亿生动参数，但是其专家模子数量增至128个，总参数量为4000亿。该模子据称拥有顶尖的图像定位本事，可将用户指令与干系视觉概念精准对齐，并将模子相应锚定到图像中的特定地区。Meta表示，Llama 4 Maverick在多项主流基准测试中，全面逾越GPT-4o与Gemini 2.0 Flash；在生动参数仅为其一半的环境下，该模子在推理与代码本事方面实现了与DeepSeek V3划一性能；其谈天版本在LMArena测试中取得1417的ELO评分，拥有无与伦比的性价比。

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来，而Llama 4 Behemoth据称包罗2880亿生动参数、16个专家模子以及2万亿参数。Meta表示，Llama 4 Behemoth为其迄今为止最强大的模子，且尚在练习中，现在在STEM范畴的基准测试中表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在官网博文中，Meta分享了关于Llama 4系列模子的技能细节：

该系列模子为首批接纳肴杂专家（MoE）架构的模子，其在练习和推理时盘算服从更高，且在类似的练习FLOPs预算下，能够天生更高质量的结果。

别的，Llama 4接纳原生多模态筹划，融入早期融合技能，将文本和视觉标记无缝集成到同一的模子骨干中。Meta称：“早期融合是一个庞大的进步，由于它使我们能够利用大量未标记的文本、图像和视频数据对模子举行团结预练习。”Llama 4的视觉编码器也得到改进，以更好地顺应大语言模子。

在模子练习过程中，练习团队接纳了名为“MetaP”的新型练习技能，能够可靠地设置关键模子超参数（如各层学习率和初始化规模）。Llama 4通过预练习支持200种语言（此中100多种语言的练习标记量凌驾10亿个），整体多语言练习标记量较Llama 3提拔10倍，为开源社区的模子微调工作奠基告终实根本。

Meta还通过其他一系列动尴尬刁难模子举行练习和完满，如接纳FP8精度以举行高效模子练习、接纳“中期练习”的方式继承练习模子以提拔模子核心本事等。

模子安全也是Meta关注的重点，其在博文中称“我们的目的是开发最有资助和最有效的模子，同时防范和减轻最严峻的风险。我们按照我们的《开发者利用指南：人工智能掩护》中概述的最佳实践来构建 Llama 4。这包罗在模子开发的每个层面（从预练习到后练习）整合缓解步伐，以及可调节的体系级缓解步伐，以掩护开发者免受对抗性用户的影响。”

2025年以来，DeepSeek R1、Grok 3、GPT-4.5浩繁模子接连推出，不停革新数据，现在Llama 4又强势入场，声称碾压GPT-4.5，可见这场模子之战愈加激烈。作为开源大模子，Llama 4系列模子显现了Meta对开源计谋的对峙。Meta首席执行官扎克伯格表示：“他们的目的是创建天下领先的人工智能，将其开源，并使其普遍可用，以便天下上每个人都能受益。”联合DeepSeek带来的打击以及OpenAI日益显着的开源倾向，AI公司对开源计谋好像已经愈加认同。但是面对OpenAI等浩繁竞争对手，Meta可否通过开源计谋构建有效生态壁垒，Llama 4 Behemoth可否助其在“万亿参数俱乐部”中占据领先地位，还尚未可知。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4207107.html?f=qiehao