什麼是 AI 網路？
AI 網路是支援大規模 AI 的高效能網狀架構。這種網狀架構要連接顯示卡、加速器和系統，並提供訓練、推論和代理式 AI 工作負載在發展過程中所需的輸送量、同步和效能一致性。
關鍵現實
隨著 AI 工作負載的規模與複雜性持續發展，系統效能也變得越來越仰賴網路。從前端網路到垂直擴充與橫向擴充網狀架構，每一層都會形塑 AI 基礎架構的執行效率。
大規模效能始於網路
高效能
尖端 AI 模型所需要的網路，既要能夠將資料傳輸到加速器以及在加速器之間傳輸資料，還需具備可讓模型使用率時刻維持滿檔的高頻寬與低延遲。
可程式化
AI 通訊協定發展迅速。可程式化網路可讓基礎架構保持彈性，並且能夠因應下一波需求。
開放式
開放式系統讓組織掌握選擇權，可彈性建置基礎架構，並在各種規模下進一步最佳化成本。
可擴充 AI 網路的 7 大架構原則
探索策略性網路選擇如何影響整體 AI 效能、基礎架構成本、擴充性和未來發展。
前端：為 AI 工廠饋送資料
前端網路將使用者與資料連接至 AI 基礎架構，支援可靠的大規模擷取。
為儲存、安全性和網路服務提供並行加速，同時為 AI 工作負載保留運算資源。
關鍵技術：
垂直擴充：整合式 AI 系統
UALoE 與緊密連結的軟體可實現垂直擴充網域，讓多個顯示卡以單一運算資源的形式運作，並以高頻寬網路支援張量平行處理、大型模型，以及具韌性且高效率的工作負載。
整合 72 個顯示卡，並提供具備韌性、替代連線、自動化故障回應，以及實現持續運作之工作負載隔離的網路。
關鍵技術：
橫向擴充與跨域擴充：分散式 AI
橫向擴充網路可提供頻寬、效率和韌性，讓最大規模的訓練與推論能夠分散在多個資料中心。
透過可預測的效能、快速復原和更低的基礎架構成本，加速機架、資料中心和區域的分散式 AI。
關鍵技術：
使用案例
- 模型訓練
- 分散式推論
- 代理式 AI
模型訓練
挑戰
要訓練十億參數級模型，需要在數十萬個顯示卡之間精準且低延遲的同步處理。
解決方案
超低延遲集體通訊可加速訓練並提高叢集使用率。
分散式推論
挑戰
要即時回應數百萬個推論要求，需要在無法預測的需求下仍可保持的一致且低延遲效能。
解決方案
低延遲的決定性網路可讓推論回應保持快速且一致，即使需求有所波動也不例外。
代理式 AI
挑戰
代理式 AI 工作負載仰賴多項複雜服務之間的持續協調。
解決方案
加速的基礎架構服務可實現大規模 AI 工作流程的高效率執行、低延遲通訊和更高使用率。
垂直擴充系統對實際執行 AI 的重要性
隨著 AI 擴充到個別節點以外，垂直擴充網路也將多個顯示卡整合成單一運算資源，並提供高可用性，有助於訓練與代理式工作負載在發生網路故障時持續運作。
這類 AI 工作負載經常易受重新啟動影響，因此垂直擴充網路必須具備足夠韌性，才能在網路中斷後快速復原，同時避免進行中工作停滯或失去累積的進度。
AMD AI 網路產品組合
AMD 提供豐富的 AI 網路技術產品組合，可滿足現代 AI 基礎架構對效能、擴充性和韌性的需求。
AMD AI 網路軟體堆疊
Helios Management Software 採用歷經多個世代發展的成熟軟體堆疊，透過健全狀況監測、遙測、RAS 與自動化，實現智慧網狀架構健全狀況作業。
AMD Helios 機架規模解決方案：為超大規模 AI 提供領先的機架效能1
AMD Helios 機架規模解決方案設計是一套完全整合的 AI 基礎架構，結合最新 AMD Instinct™ 顯示卡、AMD EPYC™ 伺服器處理器和 AMD Pensando™ 網路技術，並採用業界開放標準設計，可支援大規模推論、尖端模型訓練和微調。
開放式生態系統與標準
AMD 與領先的產業組織攜手合作，共同協助推動 AI 發展。
AMD AI 網路技術專題文章
常見問答
常見問答
AI 網路針對在垂直擴充與橫向擴充架構執行的同步大量顯示卡通訊進行最佳化，並提供傳統工作負載通常不需要的智慧壅塞管理、快速復原和深度可觀察性。
AI NIC 多了可程式化邏輯與專用加速，可最佳化顯示卡對等通訊、協助降低延遲，並提升大規模可靠性。
垂直擴充是指在節點或緊密結合的系統內充分提升效能。橫向擴充涉及在資料中心內的叢集與 Pod 進行擴充。跨域擴充可在分散在多個地理位置的資料中心之間，實現整合式管理與協調調度，讓這些資料中心以單一整合式系統的形式運作。
AMD 以經實證考驗的乙太網路標準為基礎，並與廣大的合作夥伴生態系統維持合作關係，在保有廠商選擇彈性的同時，協助確保互通性。
UALoE (Ultra Accelerator Link over Ethernet) 用於機架規模系統以建置垂直擴充網狀架構。可讓多個顯示卡以單一整合式系統的形式運作。提供緊密結合顯示卡的效能，同時維持實際執行 AI 所需的可靠性與開放性，並以乙太網路標準為基礎，提供因應未來需求的彈性。
AMD 軟體堆疊包括用於自動化 Day 0/Day 2 作業的 AMD Cluster Controller (ACC)、用於顯示卡分割與隔離的 AMD Fabric Manager (AFM)，以及用於可靠交換器運作的 AMD Fabric Operating System (AFOS)。這些工具相互搭配，有助於免除人工配置，讓大規模 AI 叢集能在正式生產環境中有效運作。
聯絡我們
聯絡 AMD 銷售代表。
尾註
- AMD 效能實驗室於 2025 年 6 月進行計算，依據 AMD Instinct™ MI455X 72xGPU "Helios" AI 機架的預估記憶體容量/頻寬及垂直/橫向擴充頻寬規格，與 NVIDIA 公開發佈的 "Vera Rubin" 72xGPU "Oberon" 機架進行比較。伺服器製造商可能會改變配置，而得到不同的結果。MI350-045A
AMD 效能實驗室於 2025 年 9 月進行計算，依據 FP8/FP4 資料類型及 AMD Instinct™ MI455X 72xGPU "Helios" AI 機架的預估規格，與 NVIDIA 公開發佈的 "Vera Rubin" 72xGPU "Oberon" AI 機架規格進行比較。實際結果視生產晶片而異。伺服器製造商可能會改變配置，而得到不同的結果。MI350-046B
尾註
- AMD 效能實驗室於 2025 年 6 月進行計算，依據 AMD Instinct™ MI455X 72xGPU "Helios" AI 機架的預估記憶體容量/頻寬及垂直/橫向擴充頻寬規格，與 NVIDIA 公開發佈的 "Vera Rubin" 72xGPU "Oberon" 機架進行比較。伺服器製造商可能會改變配置，而得到不同的結果。MI350-045A
AMD 效能實驗室於 2025 年 9 月進行計算，依據 FP8/FP4 資料類型及 AMD Instinct™ MI455X 72xGPU "Helios" AI 機架的預估規格，與 NVIDIA 公開發佈的 "Vera Rubin" 72xGPU "Oberon" AI 機架規格進行比較。實際結果視生產晶片而異。伺服器製造商可能會改變配置，而得到不同的結果。MI350-046B