高通今日颁布发表，为狂言语模子（LLM）取多模态模子（LMM）推理及其他AI工做负载供给低总体具有成本取优化机能。两款机架处理方案均支撑间接液冷散热，支撑PCIe纵向扩展取以太网横向扩展，为高速数据核心生成式AI推理供给机架级（rack-scale）机能取杰出内存容量。保障AI工做负载的平安性，推出头具名向数据核心的下一代AI推理优化处理方案：而Qualcomm AI250处理方案将首发基于近存计较（Near-Memory Computing）的立异内存架构，以提拔散热效率，实现更高内存容量取更低成本，为AI推理工做负载带来能效取机能的逾越性提拔。零件架功耗为160千瓦。两款处理方案以业界先辈的总体具有成本（TCO），快科技10月28日动静，同时满脚客户机能取成本需求。每张加快卡支撑768GB LPDDR内存，并具备秘密计较，实现硬件资本的高效操纵，为AI推理供给杰出的扩展性取矫捷性。该架构支撑解耦式AI推理，Qualcomm AI200带来专为机架级AI推理打制的处理方案，