针对 AI 小模型训推场景中「一张卡跑一个任务」可能造成的资源浪费问题，华为与上海交通大学联合研发XPU 池化框架，可将单张 GPU 或 NPU 算力卡切分为多份虚拟算力单元，切分粒度精准至 10%。
这一技术实现了单卡同时承载多个 AI 工作负载，且通过弹性灵活的资源隔离技术，可实现算力单元的按需切分，「用多少，切多少」，使此类场景下的整体算力平均利用率提升 30%，提高了单卡服务能力，与此同时，虚拟化性能损耗控制在 5% 以内。
跨节点算力资源聚合，充分利用空闲算力
针对大量通用服务器因缺乏智能计算单元而无法服务于 AI 工作负载的问题，华为与厦门大学联合研发跨节点拉远虚拟化技术。该技术将集群内各节点的空闲 XPU 算力聚合形成「共享算力池」，一方面为高算力需求的 AI 工作负载提供充足资源支撑；另一方面，可让不具备智能计算能力的通用服务器通过高速网络，可将 AI 工作负载转发到远端「资源池」中的 GPU/NPU 算力卡中执行，从而促进通用算力与智能算力资源融合。
面对算力集群中多品牌、多规格异构算力资源难以统一调度的痛点，华为与西安交通大学共同打造Hi Scheduler 智能调度器。该调度器可自动感知集群负载与资源状态，结合 AI 工作负载的优先级、算力需求等多维参数，对本地及远端的虚拟化 GPU、NPU 资源进行全局最优调度，实现 AI 工作负载分时复用资源。即便在负载频繁波动的场景下，也能保障 AI 工作负载的平稳运行，让每一份算力都「物尽其用」。
随着 AI 对算力需求的不断增长，资源管理效率正在逐渐成为新的瓶颈。去年 7 月，英伟达以 7 亿美元完成了对以色列 AI 初创公司 Run:ai 的收购，受到了业界的关注，也引发了人们对于未来算力利用方式的讨论。Run:ai 的技术核心在于通过动态调度、GPU 池化和分片等技术优化 AI 计算资源的使用效率。据报道，其平台能够将 GPU 资源利用率从不足 25% 提升至 80% 以上。
