AMD EPYC(霄龙)全面满足智能体 AI 所需的机架级 CPU 性能

Jun 09, 2026

AMD EPYC

智能体 AI 正在重塑基础设施形态。当企业从孤立零散的 AI 实验转向生产级智能体系统时,底层 CPU 基础设施变得至关重要:编排服务、数据库、Web 前端、缓存、中间件、API 以及控制平面服务,全都必须在实际的机架功耗和散热限制内实现高效扩展。客户部署机柜时不能只看跑分榜单上的纸面性能数据,而需考虑功耗、散热、占地面积、软件兼容性与运维就绪度等多重限制。

以这一视角展开评估,AMD EPYC(霄龙)处理器展现出显著的机架级性能优势。在模拟的 100kW 机架场景下,AMD EPYC(霄龙)9965 的机架级吞吐量约为参考基准 1 的 2.37 倍,同时约为参考基准 2 的 1.6 倍。相对于参考基准 1,新一代 AMD EPYC(霄龙)“Venice”预计可将优势扩大至 3.30 倍1。同样重要的是,这套基础设施基于通用 x86 架构,客户当下即可完成部署,无需等待尚未落地的下一代架构。

智能体 AI 需要高 CPU 算力基础设施

人们很容易将 AI 基础设施建设简单等同于 GPU 算力建设。但是,生产级智能体系统并非仅完成模型推理任务,而是规模庞大、持续不间断运行的服务环境。每个智能体都依赖于编排逻辑、事务型数据库、Web 和 API 端点、键值存储、内存缓存,以及其他负责协调工作、维持状态及路由请求的基础设施组件。这些绝大多数都是 CPU 密集型服务,其算力需求会随并发智能体数量同步扩展,而非由单个模型的规模决定。

随着智能体部署进入量产落地阶段,配套的支撑性基础设施的规模也会随之增长。承载这些服务的处理器平台将成为决定企业实际能运行的智能体数量以及运行成本的主要因素。在这一层上,决定上限的是通用 CPU 性能,而非加速器的峰值性能。

为什么机架级性能才是正确的衡量指标

组件级基准测试只能反映芯片本身的性能,并不能反映客户实际能部署多少工作负载。数据中心以机架为单位进行配置,而机架受到固定功耗和散热预算、有限机房空间、软件兼容性要求以及运维就绪度的严格限制。决定实际服务容量的不是“单个插槽性能有多强”,而是“一个 100kW 的机架能承载多少有效工作负载”。

这正是本分析所采用的视角。所有配置均按基于双路处理器 (2P) 平台的 100kW 模拟机架进行标准化处理,因此评估结果反映的是可部署的服务容量,而非孤立的处理器峰值性能表现。更高密度的配置意味着,每个机架的服务容量更大。这正是推动成本效益、机房空间利用率和运维简便性的核心因素。

AMD EPYC(霄龙)机架级性能优势

在评估的工作负载(通用计算、服务器端 Java、Web 服务、键值存储、内存缓存和关系数据库)中,AMD EPYC(霄龙)的机架级建模测试结果展现显著领先优势。AMD EPYC(霄龙)9965(“Turin”,192 核)的标准化几何平均性能是参考基准 1(88 核)的 2.37 倍;而参考基准 2(128 核)的性能是参考基准 1 的 1.46 倍。AMD EPYC(霄龙)“Venice”(256 核)进一步将性能优势扩大至 3.30 倍。AMD 的性能优势覆盖全部受测工作负载,而非仅在某一项适配的基准测试中才表现突出。

规律十分明确:在固定功耗上限内,随着核心密度提高,总服务吞吐量也会随之提升。对于围绕智能体系统的事务处理、Web 服务和中间件层而言,这意味着每个机架能实现显著更高的并发能力和响应速度,而这两项指标最终决定环境能运行多少智能体。

Horizontal bar chart: Normalized rack performance within 100kW budget. AMD EPYC 3.30, AMD EPYC 9965 2.37, Intel Xeon 6980P 1.46, NVIDIA Vera 1.0.
Table 1: Server CPU Rack Configuration Summary. Compares NVIDIA VERA, Intel Xeon GNR-AP 6980P, AMD EPYC (Turin) 9965, and AMD EPYC (Venice). Data includes cores per socket (88-256), normalized core per socket (1.0-2.90), normalized 2P system power (1.0-1.41), normalized nodes per rack (1.0-0.71), and a consistent 100 kW rack power budget.

即刻实现高密度部署,而非专属架构空头承诺

机架密度现已成为核心指标,这一点无可厚非;该指标能直观衡量实际可部署的服务容量,也是 AMD 现有在售解决方案的突出优势所在。如今,在 Dell PowerEdge IR7000 或任何同类液冷机架中部署 AMD EPYC(霄龙)“Turin”,每个机架可支持超过 27,000 个 CPU 核心;新一代 AMD EPYC(霄龙)“Venice”的架构设计使同等级别机架支持的核心数量扩展至 36,000 个以上。沙箱数量与 CPU 核心数量不能直接划等号,但作为衡量机架级计算密度的参考指标,结论十分清晰:依靠 AMD 标准化基础设施能实现并超越“未来才能达成”的部署密度。

Table 3: Rack Density Comparison. NVIDIA Vera (88C x 2P) has 22,500 cores/sandboxes per rack. AMD EPYC Turin (192C x 2P) has >27,000. AMD EPYC Venice (256C x 2P) has >36,000.

这些 AMD 部署方案基于标准的液冷数据中心设备以及企业已经在使用的 x86 软件生态,无需新的机架架构,可保障软件兼容性、降低迁移阻力并缩短上线投产周期。

方法与工作负载详情

工作负载测试套件涵盖与智能体 AI 服务环境高度相关的基础设施维度,并使用成熟的基准测试作为性能衡量标准:

  • 通用计算:SPEC CPU 2017 Integer Rate
  • 服务器端 Java:SPECjbb2015 派生的工作负载,用于衡量吞吐量和延迟敏感型业务逻辑执行
  • Web 服务:NGINX 搭配 WRK 工具,测试持续并发请求负载
  • 键值存储:redis-benchmark,用于测量高速内存中操作
  • 内存缓存/分析:Memcached 搭配 memtier_benchmark
  • 关系数据库:TPROC-C(TPC-C 派生的 OLTP 代理),基于 MySQL 进行测试

该套件并未对完整的端到端智能体流水线进行建模,而是单独测试这些流水线所依赖的各个基础设施层。性能对比在机架级别进行,统一使用 100kW 功耗上限和双处理器平台作为参考标准,系统功耗和每机架节点数均基于参考基准 1 进行标准化处理。由于“Venice”和参考基准 1 的数据反映的是建模和预测配置,因此结果均为给定机架功耗约束下的估算值。

线程性能

除了机架级性能和能效外,单核性能对于某些工作负载而言仍是关键考量因素。在数据库、数据分析、仿真以及多 GPU 服务器环境中的主机处理等高要求工作负载场景下,AMD 在单核性能这一指标上长期保持领先。据估算,AMD 64 核“Venice”CPU 的单核性能,相较于参考基准 1(88 核)高出 27%。即使是核心数更多的 96 核“Venice”CPU,其单核性能预计仍比参考基准 1(88 核)高出 11%。

结语:可落地部署的性能才是制胜关键

规划 AI 智能体基础设施时,应当以机架为单位,而非参考单一部件的纸面性能宣传。基于这一视角,结论清晰明了:AMD EPYC(霄龙)提供更高的可部署 CPU 吞吐性能,兼容现有 x86 软件生态,并支持基于标准化架构打造高密度的 AI 就绪型基础设施。而且,搭载该处理器的平台现已量产交付、可即刻部署。对于正在规模化部署生产级智能体 AI 的企业而言,高密度、全兼容、易部署三者兼备,才能将纸面性能转化为真实可用的承载能力。

有关更多详细信息,请查阅方法说明文档

附注

1.结果基于建模机架级配置,采用公开可用和内部基准测试数据。结果可能无法反映实际部署的系统性能。

Share:

Article By


服务器事业部公司副总裁,负责数据中心生态系统与应用工程