01Arm赋能AWS Graviton4
产品:X200 Pro(12GB/256GB) vivo 手机随着人工智能(AI)技术的迅猛发展,云计算领域正在经历显著变革。愈发复杂的AI应用对计算解决方案的性能、效率和成本效益提出了更高要求。在云端部署工作负载的客户正在重新评估其所需的基础设施,以满足现代工作负载需求,其中不仅包括提高性能和降低成本,还涵盖了需符合监管要求或可持续发展目标的新能效基准。
Arm与亚马逊云科技(AWS)长期合作,为实现性能更强劲、更高效和可持续的云计算提供专用芯片和计算技术。在近期举行的AWS re:Invent 2024大会上,AWS进一步展示AWS Graviton4所取得的显著进展,使开发者和企业能够充分发挥其云工作负载的性能潜力。
卓越的性能表现
相较于上一代Graviton3处理器,基于Arm Neoverse V2平台的AWS Graviton4处理器在计算性能上提升了30%,核心数增加了50%,内存带宽提高了75%。凭借这些技术优势,AWS Graviton处理器在生态系统和客户群体中得到了广泛应用。
Arm Neoverse V2平台涵盖Armv9架构的新特性,包括高性能浮点和向量指令支持,以及SVE/SVE2、Bfloat16和INT8 MatMul等特性。这些特性为AI/机器学习(ML)以及高性能计算(HPC)工作负载提供了卓越性能。
AI/ML工作负载
今年早些时候,Arm与主流的AI框架和软件生态系统合作,推出了Arm Kleidi软件,以确保Arm平台上开机即用的推理性能优化能惠及整个ML栈,开发者无需掌握额外的Arm专业知识即可构建其工作负载,从而进一步推动AI工作负载的广泛应用。此前,Arm已展示了PyTorch中的这些优化如何赋能AWS Graviton4 上运行大语言模型(LLM),如Llama3 70B 和Llama 3.1 8B,并显著改善了每秒生成词元(token)数和词元首次响应时间的表现指标。
HPC和EDA工作负载
对于HPC工作负载,Graviton4相较于Graviton3E在功能上实现了显著提升。每个核心的主内存带宽增加了16%,每个vCPU的L2缓存容量翻倍。这些改进对于HPC应用的性能至关重要,因为HPC应用通常受限于内存带宽。AWS已经在这些领域取得了显著优势,如下所示。
根据Arm工程团队实际运行EDA工作负载所得出的结果,Graviton4提供的RTL仿真工作负载性能比Graviton3高出37%。
图:AWS Graviton4上的HPC和EDA工作负载优势
生态系统广泛采用
近年来,随着云计算用户将各种云工作负载部署在AWS Graviton处理器上,其软件生态系统持续扩展。如此一来,客户不仅节省了费用,收获了性能的提升,还能优化其碳足迹和可持续发展足迹。以下是部分示例:
图:采用基于Arm Neoverse的AWS Graviton3 所取得的生态优势
着手利用Graviton的强大性能
Arm将在云计算的未来中发挥关键作用,并将继续支持AWS Graviton 立于技术创新的前沿。Arm将继续投入并进一步强化软件生态系统,从而使开发者能够更加轻松地在Arm平台上构建其应用,并充分利用Arm计算平台所提供的卓越性能和效率优势。