密集模子的推理才能也能和 DeepSeek-R1 掰手腕了？ 华为愚弄纯昇腾集群查考出的盘古 Ultra，在数学竞赛、编程等推理任务当中，和 R1 打得有来有回。 要害是模子参数目惟一 135B，统统这个词查考过程零英伟达含量，而且莫得出现赔本尖峰。 通过校正的模子架构和系统优化政策，盘古 Ultra 领有优异的性能施展和 52% 以上的算力愚弄率。 况且有网友示意，查考过程中莫得出现赔本尖峰这一特征，似乎此前从未终了。 135B 密集模子并排 DeepSeek-R1 手脚一个参数目 135B
密集模子的推理才能也能和 DeepSeek-R1 掰手腕了？
华为愚弄纯昇腾集群查考出的盘古 Ultra，在数学竞赛、编程等推理任务当中，和 R1 打得有来有回。
要害是模子参数目惟一 135B，统统这个词查考过程零英伟达含量，而且莫得出现赔本尖峰。
通过校正的模子架构和系统优化政策，盘古 Ultra 领有优异的性能施展和 52% 以上的算力愚弄率。
况且有网友示意，查考过程中莫得出现赔本尖峰这一特征，似乎此前从未终了。
135B 密集模子并排 DeepSeek-R1
手脚一个参数目 135B 密集模子，盘古 Ultra 达到了同圭臬密集模子的最优施展，致使不错与 DeepSeek-R1 等参数目更大的 MoE 模子竞争。
在预查考阶段模子的评测中，盘古 Ultra 在绝大部分英文基准任务和一齐汉文任务上赢得了最好性能，优于 Llama 405B、DeepSeek-V3 等 baseline 模子。
尤其在 MMLU、TriviaQA、GSM8K 等具有挑战性的数据集上，盘古 Ultra 展现出了不凡的讲话默契和推理才能。
经过提醒调优后，盘古 Ultra 的性能进一步升迁，尤其在 AIME 2024、MATH-500 等数学推理任务和 LiveCodeBench 等编程竞赛题上达到了 SOTA 水平。
概述来看，盘古 Ultra 超过了包括 GPT-4o、Mistral-Large 2 等庞杂模子，与 DeepSeek-R1 等 MoE 模子竞争历害。
同期，盘古 Ultra 在 Arena Hard、MMLU-pro 等涵盖通用讲话默契和推理的评测中也施展优异。
那么，为了终了这么的成果，盘古 Ultra 选拔了哪些要害时代呢？
“三明治”层归一化架构
如前文所述，盘古 Ultra 是一款 135B 参数目的密集模子，使用了 94 层的采积存构。
盘古 Ultra 选拔了分组查询隆重力（GQA）机制，包含 96 个查询头（query head）和 8 个键值头（key-value head）。
为了处治查考超深蚁合靠近的不通晓性和管制勤奋等问题，盘古 Ultra 在模子架构上作念出了两个要害校正 —— 深度缩放的 Sandwich-Norm 层归一化和 TinyInit 参数运行化政策。
传统的 Transformer 频频使用 Pre-LN 层归一化，但在深度模子中，Pre-LN 容易导致每个子层输出圭臬的波动，激发查考不通晓。
盘古 Ultra 使用的 Sandwich-Norm 层归一化，则是在残差息争前对每个子层的输出作念归一化，并字据蚁合深度对运行化值进行缩放，从而有用捣毁了查考过程中的 loss 尖峰，使查考过程愈加稳固。
用更容易默契的话说，传统方法仅在每个子层的输入进行归一化，但这种方法针对输出也进行了归一化，变成了 Pre-Norm + 子层 + Post-Norm 的“三明治”结构。
然则，只是使用 Sandwich-Norm 还不及以统统捣毁深度模子查考中的不通晓性 —— 跟着蚁合层数的增多，每一层的输出圭臬仍然可能出现累积性的漂移。
为此，盘古 Ultra 在 Sandwich-Norm 的基础上，进一步引入了深度缩放机制，对 Post-Norm 中的放缩参数 γ 进行了深度相干的运行化。
至于统统这个词模子的运行化，传统的运行化频频选拔的 Xavier 运行化方法仅磋商模子宽度，而盘古 Ultra 选拔的 TinyInit 同期依据模子深度和宽度来缩放运行化权重的模范差。
这种运行化阵势有助于在前向传播和反向传播过程中，看护各层梯度的方差在一个合理的范围内，幸免了梯度消失或爆炸问题，使得查考过程愈加通晓，同期也加快了管制。
实验标明，TinyInit 在深度模子查考中赢得了更好的管制速率和卑劣任务性能；同期针对 embedding 层，保握权重的模范差接近 1 也能升迁查考通晓性。
另外，盘古团队也针对 Tokenizer 进行了优化，通过在通用中英文、代码、数学等不同规模区别进行词频统计，再磨灭去重，最终得到了一个兼顾规模覆盖和编码遵循的 153376 个 token 的均衡词表。
8192 张昇腾 NPU 查考集群
盘古 Ultra 的统统这个词查考经由主要分为三个阶段 —— 预查考、长高下文扩张和提醒调优。
其中预查考又不错分为三个子阶段：
通用阶段：侧重建筑讲话默契和常识储备，使用了大都中英文通用语料，覆盖网页、竹素、百科等多个起原；
推理阶段：引入更多高质料的数学和代码数据，以增强模子的推理才能。同期还使用 instruction 数据来匡助模子学习推行任务；
退火阶段：匡助模子巩固常识和推理才能，并强化提醒遵从才能。大都使用问答对和东谈主类反应数据。
算计者们选拔了基于章程和模子的数据清洗方法，并野心了 curriculum learning 政策，让模子轮番渐进地学习不同难度的样本。
预查考中使用了 AdamW 优化器，并动态调度超参数。
预查考后，模子在最长 128K 的长高下文数据上进一步查考，通过扩大 RoPE 的基频来终了长序列建模，以增强处理长文档的才能。
临了的提醒调优阶则段使用监督微调（SFT）和强化学习（RL）来使模子更好地相宜卑劣任务，学会推行提醒并与东谈主类偏好对王人。
查考标准方面，盘古 Ultra 使用了一个由 8192 个昇腾 AI 处理器构成的大范围计较集群。
集群中每个节点包含 8 个 NPU，通过华为高速缓存一致性互联 HCCS 以全互联的拓扑结构息争，每个 NPU 配备 64GB 内存，节点间则通过 200Gbps 的 RoCE（RDMA over Converged Ethernet）蚁合互联。
为了终了盘古 Ultra 的高效查考，算计团队还选拔了一套系统的并行政策和优化时代。
在并行政策的弃取上，盘古 Ultra 概述磋商了模子的范围、数据的特点以及硬件的拓扑，最终选拔了数据并行、张量并行、序列并行和活水线并行等多种并行阵势的组合：
128 路数据并行，将查考数据分片到不同诱惑，保证了数据混沌；
8 路张量并行，愚弄诱惑里面高带宽切分层内张量，终了高效通讯；
序列并行用于处理超长序列以镌汰显存压力；
8 段活水线并行，将不同层漫衍到不同诱惑，变成高效的计较活水线。
在并行政策的基础上，盘古 Ultra 还从多个角度对查考系统进行了深度优化。
一方面，通过使用 ZeRO（Zero Redundancy Optimizer）漫衍式优化器，将模子状况分片到不同诱惑，大幅镌汰了单个诱惑的内存占用，在提高数据并行度的同期，确保了每个诱惑的内存职守在可袭取范围内。
另一方面，算计者们通过各式通讯和计较优化时代，最小化了通讯支出，升迁了计较遵循：
通过算子会通（Kernel Fusion）将多个小算子磨灭，减少了内存探问和 kernel 启动；
通过通讯计较类似（Communication-Computation Overlapping）终了通讯和计较的深度交汇，散失通讯蔓延；
MC^2（Merged Computation & Communication）和 BOA（Batch Optimization Accelerator）区别对张量并行和表率化层的通讯进行了有利优化……
在算法、工程、数据各个层面的雅致优化下，盘古 Ultra 终明显 52% 以上的算力愚弄率。
时代敷陈：
https://github.com/pangu-tech/pangu-ultra/blob/main/pangu-ultra-report.pdf
本文来自微信公众号：量子位（ID：QbitAI），作家：克雷西，原标题《英伟达含量为零！华为密集模子性能并排 DeepSeek-R1体育游戏app平台，纯昇腾集群查考》
告白声明：文内含有的对外跳转开通（包括不限于超开通、二维码、口令等形势），用于传递更多信息，从简甄选时期，轨则仅供参考，IT之家统统著述均包含本声明。 ]article_adlist--> 声明：新浪网独家稿件，未经授权不容转载。 -->
