AI编程里程碑！谷歌AI本身写代码惊呆工程师，GPU内核算法反超人类21%

新智元报道

谷歌的AlphaEvolve，还在不停创造新的古迹。

在5月中旬，谷歌扔出的这个炸弹（号称是数学界AlphaGo的「第37步」时候），就在不停打击人们的认知——AI，已经拥有了自我进化本领！

随后，不停有开发者用代码证实，AlphaEvolve的矩阵乘法突破为真！一个开发者乐成证实，它仅用了48次乘法，就准确完成了4×4矩阵的乘法运算。

而就在刚刚，patched.codes的团结首创人兼CTO Asankhaya Sharma，用基于AlphaEvolve论文的开源实现OpenEvolve，乐成自动发现了高性能的GPU内核算法。

详细来说，通过自我进化代码，它自动发现了一套在Apple Silicon上远超手动优化的GPU Metal核函数。

在真实的Transformer推理使掷中，它带来了平均12.5%的性能提升，峰值乃至飙升了106%。

这种提升，直接超越了人类工程师21%！

这个体系没有提供人类的GPU编程专业知识，就发现了以下优化——

这不是一次简朴的性能跃迁，而是自动化编程汗青上真正的里程碑时候——一套体系无需人类干预，就能在复杂的硬件架构中，发掘出连专家都难以察觉的优化路径。

更告急的是，这一成就并非停顿在实验室或论文中，而是在真实天下中、在苹果芯片上、在当今最主流的AI模子使掷中，踏实地跑了出来。

由此，就证实了自动化代码优化技术在真实天下体系中的现实可用性。

它标志着一个新的期间正在开启：不再是人类为呆板手写优化，而是呆板开始为本身写更好的代码。

而在之后，随着硬件架构持续高速迭代，OpenEvolve这种工具的代价还会愈加凸显——它们将发掘出那些仅凭人力极难找到的深度优化时机。

为什么说，OpenEvolve攻克的这个「GPU核函数优化」，这么有挑衅性呢？

这是由于，当代Transformer模子严峻依靠于高度优化的注意力核函数，但编写高性能的GPU代码却必要具备以下范畴的深厚专业知识。

以是，是否有大概不消人写代码，完全交给OpenEvolve，让它自动进化，看是否能生成性能更强的GPU核函数代码？

为此，Sharma决定以Qwen3-0.6B模子的分组查询注意力（GQA）实现为目标，来检验OpenEvolve的本领，看它是否能自动生成超越MLX生产级的「scaled_dot_product_attention」核函数的代码。

详细来说，项目标目标设置如下。

Sharma将OpenEvolve设置为直接进化Metal核函数的源代码，同时保存其与MLX框架的集成方式。

整个体系从一个根本的三阶段注意力实现方案开始，历经高出25代的进化。

max_iterations: 25 # 最大迭代次数population_size: 25 # 种群大小llm: primary_model:"gemini-2.5-flash" # 主模子：用于快速探索 (60%) secondary_model:"gemini-2.5-pro" # 辅助模子：用于深度优化 (40%)database: num_islands: 5 # 岛屿数量：用于并行进化多个种群evaluator: bulletproof_mode: true # 启用高强度GPU错误防护模式

每一个通过进化生成的核函数都颠末了以下维度的全面测试：

• 准确性验证：与MLX基线举行数值精度对比，确保盘算结果无误。

• 性能测试：在20个多样化的推理场景（包罗短/长上下文、生成任务）中举行基准测试。

• 安全性查抄：包罗GPU错误检测和Metal内存访问验证。

• 鲁棒性分析：通过多次重复运行举行统计分析，确保性能稳固。

没想到，OpenEvolve在进化过程中，自主发现了以下几项体现出算法创新的优化计谋！

1. 针对Apple Silicon的SIMD优化

// 进化前：逐元素标量运算for(uintd =0; d < HEAD_DIM; d++) { score += query_vec[d] * keys[k_base + d];}// 进化后：完满使用SIMD指令vec<T,8> query_vec_v[HEAD_DIM /8]; // 对于128维的头，使用16个8元向量for(uintd_vec =0; d_vec < HEAD_DIM /8; d_vec++) { score += dot(query_vec_v[d_vec], ((device vec<T,8>*)(keys + k_base))[d_vec]);}

过细看就会发现，OpenEvolve的一个亮点，就是本身发现了一个非常奥妙的优化——

对于128维的注意力头，如果把数据按8个一组来处置惩罚，刚好就能完满匹配Apple Silicon硬件的SIMD宽度。

这就相称于自动踩中了硬件的「甜点区」，完全不必要任何人工调优，就能把性能直接拉满，让硬件使用率最大化！

2. 两阶段在线Softmax（Two-Pass Online Softmax）

// Pass 1：在线盘算最大值，用于数值稳固Tmax_score=T(-INFINITY);for(uintkey_pos=0; key_pos < SEQ_LEN; key_pos++) { Tscore=compute_attention_score(query_vec, key_vec) * scale_val; max_score = max(max_score, score);}// Pass 2：融合Softmax盘算与后续的值累加Tsum_exp=T(0.0);vec<T,8> output_acc_v[HEAD_DIM /8];for(uintkey_pos=0; key_pos < SEQ_LEN; key_pos++) { Texp_score=exp(current_score - max_score); sum_exp += exp_score; // 关键创新：将权重与value向量相乘并累加的过程相融合 output_acc_v[d_vec] += exp_score * ((device vec<T,8>*)(values + v_base))[d_vec];}

在这个过程中，OpenEvolve做了一个很聪明的创新：把原来分开的两个步调——Softmax归一化和值累加，融合到了一个盘算循环中。

本来，传统算法要三个阶段才气跑完：先算注意力得分，再归一化，再加权求和。

现在直接两步搞定，流程更轻巧，还大大低沉了对内存带宽的占用，天然就跑得更快、更省资源了。

3. 针对GQA的特定内存结构优化

// 针对GQA的5:1查询头/键值头比例，举行直接映射constuintkv_head_idx = head_idx / HEADS_PER_KV; // 良好的头映射逻辑// 实现合并内存访问模式constuintq_base = batch_idx * (NUM_HEADS * SEQ_LEN * HEAD_DIM) + head_idx * (SEQ_LEN * HEAD_DIM) + query_pos * HEAD_DIM;

在此处，OpenEvolve的创新点在于，专门针对Qwen3模子的特别结构做了优化。

这个模子的查询头与键值头的比例是特有的40:8（即5:1），体系充实使用了这个特性，计划出一种独特的合并内存访问（Coalesced Memory Access）的模式。

这种模式，特别恰当Apple Silicon的同一内存架构，堪称是量身定制，服从极高，性能拉满。

果然，终极进化生成的核函数在各项综合基准测试中，都显现出了明显的性能提升：

• 解码速率（Decode Speed）：平均提升+12.5%（尺度差σ = 38.3%）

• 预添补速率（Prefill Speed）：平均提升+14.4%（尺度差σ = 17.6%）

• 总吞吐量（Total Throughput）：平均提升+10.4%（尺度差σ = 30.7%）

• 内存使用量（Memory Usage）：平均低沉+0.99%（尺度差σ = 1.7%）

• 准确性（Correctness）：保持100%的数值精度

• 可靠性（Reliability）：零GPU错误或核函数瓦解

而且此中最为瞩目标是，在处置惩罚重复性模式生成任务时，OpenEvolve进化生成的核函数直接把解码速率提升了足足106%！

云云一来也就充实证实了，这个核函数在应对特定范例的工作负载时，真的性能爆棚。

总之，从统计结果来看，OpenEvolve在某些特定范例的工作负载上，确实有很强的优化本领，能发掘出原先的手写代码难以触及的性能潜力。

在20个差异测试使掷中，它在此中7个任务上提升非常显着，性能增长高出了25%，体现出了「质的飞跃」。

• 明显增益（>25%）：7/20个基准

• 中等增益（5-25%）：3/20个基准

• 性能持平（±5%）：4/20个基准

• 性能回退（<-5%）：6/20个基准

注意，这一项目之以是能乐成，有一个关键功臣就是OpenEvolve背后的评估体系。

它不是平常的跑分工具，而是专门为GPU核函数这种「硬核」代码而计划的，专为应对GPU核函数开发过程中的各种挑衅。

• 下令缓冲区保护：自动检测Metal下令缓冲区的错误并从中规复。

• 内存访问违规处置惩罚：安全地处置惩罚GPU内存访问违规。

• 重试逻辑：为瞬时GPU错误提供指数退避重试机制。

• 回退机制：当核函数彻底失败时，可以或许优雅地降级到备用方案。

# 评估结果示例{ "metal_safety_statistics": { "metal_command_buffer_errors": 0, "metal_memory_violations": 0, "total_metal_errors": 0, "safety_score": 100.0 }}

正是由于这套评估体系特别稳、鲁棒性极高，OpenEvolve才敢放开手脚去实验各种激进的优化方案，而不消担心「越改越崩」。

要知道，GPU核函数这种实验性代码本来就很轻易堕落，一点小问题就大概导致整个步调挂掉。

以是，有这么一套高鲁棒性的机制兜底，才让体系能放心大胆地「卷」出新花样，把性能一步步推上去。

此外，项目标乐成也离不开OpenEvolve中多个组件的协同工作：

• 智能代码标志：通过特定标志，确保进化过程仅针对Metal核函数源代码，同时完备保存与MLX框架的集成代码。

# EVOLVE-BLOCK-STARTkernel_source="""// 仅此块内的Metal核函数代码会被进化"""# EVOLVE-BLOCK-END

• 富含上下文信息的提示词：为进化提供的提示词包罗了性能数据、硬件规格和优化方向指南。

• 多目标评分机制：在性能、准确性和安全性等多个目标之间举行权衡评分。

• 特定硬件验证：全部测试和优化都针对Apple Silicon硬件举行。

与此同时，为进化过程提供的提示词，也给OpenEvolve提供了至关告急的上下文信息：

## 硬件上下文信息-Apple Silicon M-series GPU with unified memory（GPU为Apple Silicon M系列，采取同一内存架构）-SIMD width: 8 elements optimal for vec<T, 8>（最佳SIMD宽度为8个元素，实用于vec<T, 8>范例）-Thread group size: 32 threads for optimal occupancy（最佳线程组大小为32线程，以到达最高硬件占用率）## 优化目标-Minimize memory bandwidth usage（最小化内存带宽占用）-Maximize SIMD utilization（最大化SIMD指令使用率）-Exploit GQA 40:8 head structure（充实使用GQA模子的40:8头结构特性）-Maintain numerical stability（保持数值盘算的稳固性）## 性能基线Current decode speed: 140.6 tokens/sec（当前解码速率：140.6 token/秒）Target improvement: >5% speedup required（目标：必要>5%的速率提升）

总之，本次对GPU核函数的乐成优化，展现了以下几点告急原则：

1. 专业知识的自动化探索与发现

OpenEvolve发现的优化计谋，涵盖了浩繁必要深厚专业知识的范畴：

• Apple Silicon的架构细节

• Metal编程语言的精妙之处

• 注意力算法的各种变体

• 内存访问模式的优化

这些范畴知识并非由人类工程师直接提供，而是在进化探索的过程中自主涌现的。

2. 面向特定硬件的自顺应优化

终极的优化方案是为Apple Silicon硬件量身定制的，这就表明，OpenEvolve具备自动发掘、使用特定硬件特性的本领。

3. 算法层面的创新

进化过程发现的「两阶段在线Softmax（two-pass online softmax）」算法，本身就是一项新颖的技术贡献，应用潜力已经远远超出了本次实验的特定场景。

4. 具备投产应用的代价

这些优化并非「纸上谈兵」，而是在真实的Transformer推理负载中能带来明显性能提升的实用技术，完全具备在生产情况中摆设的代价。

而且，自项目启动以来，Sharma已对OpenEvolve的核心本领举行了明显增强：

• 可复现性（Reproducibility）

通过完全确定性的进化过程，包管科研级别的可复现性。

random_seed:42 # 确保每次运行结果完全同等

• 可视化（Visualization）

提供可交互的进化树视图，支持实时性能追踪。

python scripts/visualizer.py

• 岛屿进化（Island Evolution）

通过种群迁移实现并行进化，以增强解空间的探索本领。

database:num_islands5migration_interval:25

• 妥当的查抄点机制（Robust Checkpointing）

支持自动生存进度，并能从停止处规复进化会话。

以是，你准备好亲身上手，挑衅GPU核函数优化或其他复杂难题了吗？

输入以下代码，就可以快速开始了：

# 克隆堆栈gitclonehttps://github.com/codelion/openevolve.gitcdopenevolve# 安装依靠pip install -e .# 运行MLX核函数优化示例cdexamples/mlx_metal_kernel_optpython openevolve-run.py initial_program.py evaluator.py --iterations 25

如果想进一步相识更深入的信息，发起过细阅读一下这几个文档。

GPU内核优化指南：https://github.com/codelion/openevolve/tree/main/examples/mlx_metal_kernel_opt