並非所有代理人都相同

在個人代理人方面,首要目標是讓每瓦可執行的代理人數量最大化;在企業代理人方面,首要目標是盡可能增加高效能代理人的數量;在技術運算代理人方面,首要目標是盡可能提高每個代理人的效能。

並非所有代理式 AI 機架的需求都相同

在超大規模部署方面,代理人會由純處理器的解構化機架執行;在企業部署方面,多合一機架會將處理器與顯示卡整合在單一系統中,以大規模執行代理人。

依您的需求配置

AMD Helion 是專為代理式 AI 打造的開放式機架規模參考設計,採用 AMD EPYC™ 9006 系列伺服器處理器。您可選擇純處理器的超大規模配置,或混合處理器與顯示卡刀鋒伺服器的企業配置,兩者皆奠基於 OCP 標準。選擇最符合代理人需求的配置與刀鋒伺服器選項。

純處理器的代理式 AI 機架

超大規模配置

專為超大規模業者、新雲端服務供應商和主權 AI 營運單位打造的純處理器機架,可大規模部署代理人,以及針對每瓦代理人數量進行最佳化。可在機架內混搭處理器刀鋒伺服器,以支援多樣化的每瓦代理人數。

個人代理人
高密度伺服器
256 核心 (400 W)

企業代理人
平衡型伺服器
256 核心 (600 W)

技術代理人
高效能伺服器
96 核心高頻率

處理器 + 顯示卡代理式機架

企業配置

以智慧化方式將代理人的推論要求路由至在雲端執行的尖端模型,或在同一機架內執行的開放原始碼模型。企業配置採用與純處理器超大規模配置相似的基礎架構,並混搭處理器與顯示卡刀鋒伺服器,以符合您的代理人需求。

代理式處理器刀鋒伺服器
提供高密度與高效能選項,適用於大量執行的代理人,以及需要高速低延遲的技術運算代理人。

高密度伺服器
AMD EPYC™ 9006
256 核心 (400 W)

平衡型伺服器
AMD EPYC™ 9006
256 核心 (600 W)

高效能伺服器
AMD EPYC™ 9006
96 核心 (5.0 GHz)

顯示卡推論刀鋒伺服器
在機架中增添顯示卡推論功能,以支援高需求的代理式工作流程。

高效能伺服器
AMD Instinct™ MI350P

通用刀鋒伺服器
支援代理人完成工作所依賴的資料庫、儲存和技術運算工作負載。

資料庫與儲存伺服器
AMD EPYC™ 9006 SP7 與 9006 SP8 伺服器處理器

技術運算
AMD EPYC™ 9006X SP7 伺服器處理器

AMD Helion Agentic AI Rack

規格

專為大量代理式工作負載所打造

高達
32,768 個
"Zen 6" x86 處理器核心
高達
16
AMD Instinct MI350P 顯示卡
高達
102
Tbps 的網路頻寬
21 吋 ORv3 44OU DLC 與氣冷式機架,符合原生 OCP 標準
完全可程式化,能支援多樣化的混合代理人機群

AMD Helion 合作夥伴

獲領先 OEM 與 ODM 採用

常見問答

超大規模業者與企業的需求有根本上的差異。超大規模業者會非常大規模地部署代理人、針對每瓦代理人數量進行最佳化,並且已營運獨立的加速基礎架構,因此純處理器機架是高效率的解決方案。企業通常都希望不要架設兩個獨立機架,傾向透過單一機架來同時提供代理式運算與加速。

當然可以,這正是此設計的用意。混搭處理器刀鋒伺服器以符合您代理人組合的需求,在企業配置中添置顯示卡刀鋒伺服器來與其搭配。

AMD Instinct™ MI350P,在一個 5U 伺服器中配備八個顯示卡。可在單一機架中新增兩個顯示卡伺服器,取得總計十六個顯示卡(兩個分別搭載八個顯示卡的節點)。兩個節點獨立運作;兩者之間沒有垂直擴充顯示卡網狀架構,因為此配置是針對企業代理式工作負載與加速所設計,而非針對尖端規模的訓練所設計。

機架與匯流排採用 ORv3。主機處理器模組採用 DC-MHS。管理與安全性採用 DC-SCM。電源層架採用 HPRv2。網路採用 OCP NIC 3.0。晶片信任根採用 Caliptra。這代表每一層都符合標準,而不是機架架構恰好符合 OCP。

否,它們處理不同需求。AMD Helios™ 是專為尖端規模 AI 訓練與大規模推論所打造,並具備統一垂直擴充顯示卡網域。AMD Helion 企業配置適用於希望以單一機架搭載代理式基礎架構與推論的組織。

資源