通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  中将

注册:2016-11-17324
跳转到指定楼层
1#
发表于 2025-10-28 08:57:31 |只看该作者 |正序浏览

芯东西(公众号:aichip001)
作者 |  ZeR0
编辑 |  漠影


芯东西10月28日报道,昨夜,高通发布面向数据中心的下一代AI推理优化解决方案,包括基于云端AI芯片Qualcomm AI200和AI250的加速卡及机架。


两款芯片均采用高通Hexagon NPU,预计将分别于2026年和2027年实现商用。


高通称,凭借该公司在NPU技术方面的优势,这些解决方案可提供机架级性能和出色的内存容量,以高性价比实现快速的生成式AI推理,有助于实现可扩展、高效且灵活的生成式AI。


沙特支持的AI创企Humain将从2026年开始部署200兆瓦的高通新型AI机架。


受此消息影响,高通股价飙升11%。


641


Qualcomm AI200推出一款专用机架级AI推理解决方案,旨在为大语言模型和多模态模型(LLM、LMM)推理及其他AI工作负载提供更高的内存容量、更低的总拥有成本(TCO)和优化的性能,支持每卡768GB LPDDR。


Qualcomm AI250解决方案将首次采用基于近存计算的创新内存架构,通过提供超过10倍的有效内存带宽和更低的功耗,不仅支持分解式AI推理,还能高效利用硬件资源,同时满足客户对性能和成本的要求。


两种机架解决方案均采用直接液冷以提高热效率,采用PCIe进行纵向扩展,采用以太网进行横向扩展,采用机密计算以确保安全的AI工作负载,机架级功耗为160kW。


641


这些解决方案都具有丰富的软件栈和与AI框架的无缝兼容性,使企业和开发人员能够跨数据中心部署安全、可扩展的生成式AI。

其AI软件栈端到端覆盖从应用层到系统软件层,并针对AI推理进行了优化。开发者可通过高通的Efficient Transformers Library和高通AI推理套件,获得无缝模型导入和Hugging Face模型的一键部署。


高通高级副总裁兼技术规划、边缘解决方案和数据中心总经理Durga Malladi称,凭借Qualcomm AI200和AI250,高通正在重新定义机架级AI推理的可能性。


Malladi还透露,高通将单独出售其AI芯片和其他部件,尤其是针对那些喜欢自行设计机架的超大规模数据中心客户。其他AI芯片公司也可能成为高通部分数据中心部件(如CPU)的客户。


高通数据中心路线图每年更新一次,聚焦实现业界领先的AI推理性能、能效和业界领先的TCO。


近年来,高通努力摆脱对智能手机市场的依赖,将业务拓展至PC和汽车市场,如今又向广阔的数据中心市场发起进攻。


举报本楼

本帖有 4 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2025-10-29 02:06 , Processed in 0.221962 second(s), 19 queries , Gzip On.

Copyright © 1999-2025 C114 All Rights Reserved

Discuz Licensed

回顶部