昇腾950：四项关键技术解析

coffee198375

大模型的参数规模正从千亿量级迈向万亿量级，算力系统的瓶颈也随之从单一的计算峰值，扩散到多个维度：数值精度的保持、芯片与节点间的互联效率、算子开发的易用性，以及长序列、高并发场景下的响应时延。本文围绕昇腾 950 的四项技术选择，分别说明其技术原理与设计取向。

一、精度：FP8 与 mxFP8 的量化差异

降低数值精度是提升大模型推理吞吐、压缩显存占用的通用手段。数据位宽从 FP16 的 16 位降至 FP8 的 8 位，显存占用与访存带宽压力近似减半。

传统 FP8 的核心问题在于缩放方式：它采用全局缩放（global scaling），整个张量共享一组缩放系数。当张量内数值的动态范围较大时，单一系数难以同时覆盖两端——大值易溢出，小值易被截断，由此引入量化误差。

mxFP8 采用分块缩放（block scaling）：将数据切分为固定长度的块（业界通常为每 32 个元素一块），每块独立配置缩放系数，使缩放尺度贴近该块的数据分布，量化误差显著降低。在此基础上，mxFP4 进一步压缩位宽，面向对时延极为敏感的推理场景。

模型侧的趋势已经明确：DeepSeek 自 V4 版本、Kimi 自 K3 版本起，均原生采用 mxFP8 + mxFP4 混合精度推理。若硬件仅支持传统 FP8 而不支持 mxFP8，部署此类模型须先完成一次精度转换，而转换过程本身会带来额外的精度损失与性能开销。

目前原生支持 mxFP8 / mxFP4 的计算平台，主要为昇腾 950 系列，以及英伟达 Blackwell 架构及之后的 GPU。

小结：量化格式的演进方向由模型需求带动，硬件能否原生支持，直接决定了精度是无损保持，还是有损补偿。

二、互联：统一内存语义与超节点扩展

算力集群的数据传输通常跨越多种协议：节点内 CPU 与 GPU 之间为 PCIe，加速卡之间可能为总线互联，节点之间则为以太网。协议不统一时，跨芯片的数据传递需要协议封装与解封，即所谓"消息语义"传输。

该开销在推理场景中被放大。大模型推理以海量并发的小包通信为主，包体越小，协议头所占比例越高，有效带宽利用率随之下降。

统一内存语义的思路，是先统一芯片间的互联协议，进而实现统一编址。协议统一之后，数据无需封装与解封，可直接通过 load / store 指令访问，实现零转换、零拷贝，并免去 CPU 调度。其收益集中于两方面：

• 其一，通信效率。尤其是 DDR 内存到 AI 芯片的传输，对 KV Cache 的读取影响显著，时延可降低 20% 以上。
• 其二，内存池化。不同节点的 DDR 与 HBM 可被视作一块统一显存，突破单机单卡的显存容量限制，以适应模型规模与序列长度的持续增长。
  

上述机制也是超节点扩展的基础：互联协议统一之后，互联域可从数十卡量级继续增大。落到单机，即 8 卡 Full Mesh 全互联，AI 处理器彼此直连，这也是 PD 分离（Prefill / Decode 分离部署）等架构取得吞吐收益的前提。

三、编程：SIMD 与 SIMT 的融合

并行编程存在两条主要路径，各自对应不同的取舍。

SIMD 的效率上限高，但开发门槛高；SIMT 易于使用，但难以将硬件压榨到极限。混合编程即在二者之间取得平衡：以 SIMD 保证性能上限，以 SIMT 保证易用性。以 Radix Sort（基数排序）类算子为例，混合编程可带来数倍的性能提升。

对开发者而言，迁移与调优成本随之下降；对业务而言，同等硬件的有效算力输出更高。

四、时延：长序列高并发下的响应

AI Coding、Agent 类应用需对模型反复调用，上下文长度常达万级 token，时延因此成为影响应用可行性的关键指标。

参照方面，GLM5.1、DeepSeek V4 Pro 等万亿级模型在长序列下维持 20ms 以内的响应，是体验的分界；20ms 约对应每秒 50 token 的输出节奏。而在相同场景下，目前不少同类方案仅能达到 50ms 至 100ms。

差距在单次请求中仅为数十毫秒，但在 Agent 多轮调用、上下文持续累积的场景中会被逐级放大，最终区分为"可用"与"好用"。这也解释了运营商、金融、政务等场景近期在选型中越来越重视长序列下的稳定时延与吞吐——其负载并非演示，而是持续的高并发业务。

结语

精度、互联、编程、时延四个维度指向同一趋势：算力系统的竞争力，正从单卡的计算峰值，转向整机与集群的整体效率。峰值性能决定准入门槛，而互联能力、显存可扩展性与开发效率，决定系统实际能够达到的产出上限。