2026 年 3 月，普林斯顿大学联合 Meta、Together AI 等团队的一项研究引发行业震动：英伟达新一代数据中心 GPU——Blackwell B200 因软硬件适配问题，竟有高达 60% 的计算资源被白白浪费。好在由 Tri Dao 领衔研发的 FlashAttention-4 注意力算法及时破局，专为 Blackwell 架构量身打造的优化方案，一举将 GPU 算力利用率从行业普遍的 20%-30% 提升至 71%，让这款号称 “史上最强 AI 芯片” 的硬件真正发挥出应有效能，就连英伟达官方也已在其 cuDNN 框架中吸收了该算法的核心技术。
作为英伟达寄予厚望的新一代旗舰 GPU，B200 的 tensor core 张量核心算力达到 2.25 PFLOPS，是上一代 Hopper H100 的 2 倍，理论上能实现注意力计算速度的跨越式提升。但现实却事与愿违，这款硬件存在严重的 “偏科” 问题：核心算力猛增的同时，关键配套计算单元却原地踏步 —— 负责指数运算的 MUFU 单元吞吐量与上一代架构完全一致，共享内存带宽也未同步升级。这种硬件设计的不对称性直接导致性能瓶颈反转，在大模型核心的注意力计算负载中，原本的瓶颈矩阵乘法耗时大幅降低，而共享内存读写和指数运算的耗时反而比矩阵乘法多出 25%-60%，算力翻倍的 Tensor Core 长期处于等待状态，超六成资源被闲置，让大量重金部署 B200 的开发者陷入 “有力使不出” 的困境。
针对 B200 的硬件短板，FlashAttention-4 推出三大核心优化策略，精准破解算力浪费难题。第一招聚焦指数运算与内存读写瓶颈：通过多项式近似实现软件模拟指数函数，让高速 FMA 计算单元参与原本由 MUFU 单元负责的运算，大幅提升吞吐量；同时采用混合计算模式保障精度，推出条件性 softmax rescaling 策略，跳过无用计算步骤减少运算量；更充分利用 Blackwell 架构的 2-CTA MMA 模式，让两个计算单元搭档工作，各自仅加载一半数据，将共享内存读写量直接砍半，从根源缓解带宽压力。
第二招重构计算流水线，实现算力并行最大化。FlashAttention-4 深度适配 Blackwell 架构的全异步 MMA 操作和新增张量内存 TMEM，重新设计注意力计算的前向与反向流水线，让 softmax 计算与矩阵乘法实现完全计算重叠 —— 当张量核心处理一个矩阵块时，其他硬件资源可同步对另一个数据块执行 softmax 计算，彻底避免算力空闲。第三招则兼顾硬件迭代，为下一代 GPU 预留优化空间，针对 B300/GB300 GPU 指数运算单元吞吐量翻倍的升级趋势，算法将根据实际性能表现重新权衡软件模拟方案，确保持续适配硬件进化。
除了算法层面的深度优化，FlashAttention-4 在开发模式上也实现突破。不同于此前基于 C++ 模板开发的 FlashAttention-3，该算法全部代码基于 Python 的 CuTe-DSL 框架编写，实现零 C++ 代码开发，编译效率迎来爆发式提升：前向传播内核编译时间从 55 秒缩短至 2.5 秒，提速 22 倍；反向传播编译时间从 45 秒降至 1.4 秒，提速 32 倍，整体编译速度最高狂飙 30 倍。
实测数据显示，在 B200 GPU 上，FlashAttention-4 前向传播算力最高达到 1613 TFLOPS/s，成功实现 71% 的理论峰值利用率。对比主流计算框架，其性能优势显著：比英伟达官方的 cuDNN 9.13 快 1.1-1.3 倍，比常用的 Triton 框架快 2.1-2.7 倍，且在长序列、因果掩码等大模型训练推理核心场景中，优势更为突出。值得关注的是，英伟达已开始 “抄作业”，cuDNN 9.13 版本已反向吸收 FlashAttention-4 的核心技术，足见该算法的行业认可度。
此次 FlashAttention-4 的成功研发，不仅为 B200 GPU 的算力释放提供了关键解决方案，更给 AI 硬件与软件协同发展带来重要启示。在大模型算力需求持续暴涨的当下，硬件性能的提升若缺乏配套软件优化，往往难以充分发挥价值。而 FlashAttention-4 通过软硬件协同设计的优化思路，让顶尖硬件的潜力得到充分挖掘，为行业树立了技术标杆。随着该算法的推广应用，有望进一步降低大模型训练与推理的成本，加速 AI 技术的规模化落地进程。
