AI 發展版圖再次改變

您的客戶很可能仍根據目前使用 AI 的方式，以較侷限的角度思考 AI 基礎架構：著重於一問一答的單次輸出，以及該使用哪些顯示卡、需要多少加速器記憶體，以及想執行哪些模型等問題。

這些因素都很重要，但已無法反映完整需求。在第一波 AI 導入期間，當時的首要目標是進行實驗，因此這樣的考量確實合理。代理式 AI 的出現已改變基礎架構的討論焦點，也為合作夥伴帶來機會，可協助客戶跳脫僅以顯示卡看待 AI 的思維。

AI 工作負載如何改變

AI 正從單純的一問一答式 LLM 工作負載，轉變為持續且獨立運作的工作負載，讓客戶能使用基礎架構完成比以往多上不少的工作，並在無人工輸入的情況下執行持續作業與工作負載。

代理式 AI 系統可自主進行規劃、擷取資訊、呼叫工具、與 API 互動、更新狀態、查詢資料庫、觸發工作流程，以及協調多項服務。當這些系統進入生產階段後，客戶需要的不再只是過去那種孤立運行的模型推論，而是可支援持續、並行和服務密集型工作負載的基礎架構。

雖然顯示卡仍是大規模 AI 訓練與推論不可或缺的一環，並可提供模型運算所需的加速器效能，但在代理式 AI 環境中，顯示卡只是整個系統的一部分。要部署代理式工作流程，就必須同時擴充代理人沙箱、發揮最高 AI 主控節點輸送量，以及支援一般用途工作負載。

其中大部分的相關工作皆由處理器負責。如果處理器無法跟上需求，就算客戶投入大量資金採購加速器，仍可能面臨瓶頸、高延遲、顯示卡使用率偏低或擴充效率不佳的問題。

因此，平衡的 AI 平台需要兼具用於模型運算的加速器，以及支援服務、調度層與資料層的高效能伺服器處理器。兩者相輔相成，才能支援代理式 AI 的大規模應用。

隨著 AMD EPYC™ 9006 系列伺服器處理器推出，基礎架構可持續演進以因應這些全新需求，並在代理式 AI 導入後持續提供尖端效能。

代理式時代的最佳伺服器處理器產品組合1

AMD EPYC 9006 系列伺服器處理器可為代理式 AI、雲端、企業和高效能運算工作負載實現領先效能，並且可提供高達 256 個核心、512 個執行緒，以及最高 5 GHz 的時脈速度，如此卓越的每核心效能，足以傲視其他伺服器處理器產品。這個處理器系列搭載領先業界的 PCIe® Gen 6 I/O，以及每個插槽最高 1.6 TB/s 的記憶體頻寬，可為積極投入最嚴苛的代理式工作流程的客戶拓寬前路。

對於擔心升級影響的客戶而言，歷代 AMD EPYC 伺服器處理器一直以來就在為高密度、高效率的伺服器基礎架構提供以標準為基礎的 x86 平台，而這款新一代處理器更是將此藍圖延伸到對未來部署的支援，協助客戶流暢升級，不會中斷現有生產環境。

對合作夥伴而言，這套全新產品系列提供以下三個可用來與客戶討論代理式 AI 的明確切入點：垂直擴充、最大化輸送量，以及支援 AI 相關一般用途工作負載。

1.垂直擴充

對於正在建置沙箱環境、進行多代理人實驗，或部署高並行性代理式服務的客戶而言，高密度的運算力極其重要。在現有電力、機架與預算限制內，可部署的代理人越多，客戶就越能在不產生難以負擔的基礎架構成本或複雜性的情況下輕鬆擴大 AI 導入規模。

高核心數 AMD EPYC 9006 系列伺服器處理器正是為滿足此需求所設計，核心數比前一代增加最多 33%2，讓合作夥伴能透過更高的代理人密度，直接克服代理式 AI 的產能需求。

2.最大化輸送量

在搭載大量加速器的系統中，伺服器處理器仍扮演關鍵角色。它們可協助為顯示卡提供資料、協調資料移動、支援 I/O、執行主控端服務，並減少模型執行與整體應用環境之間的阻礙。

高頻率 AMD EPYC 9006 系列伺服器處理器搭載領先業界的 PCIe® Gen 6 I/O 子系統，每條通道的頻寬比前一代產品多一倍3，並提供每個插槽最高 1.6 TB/s 的記憶體頻寬，有助於減少主機端瓶頸，並支援資料在系統內快速傳輸。

對於著重發揮最高顯示卡使用率與符元產生量的客戶而言，這些處理器有助於確保主控平台能跟上其 AI 工作負載所仰賴的加速器效能。

3.一般用途 AI 服務

許多客戶的工作負載無法單純歸入單一 AI 類別。其使用案例將涵蓋資料庫、儲存服務、處理器推論、調度管理邏輯、分析、中介軟體、安全性等多種領域。正是這類一般用途工作負載，讓代理式 AI 成為管理現代企業工作負載的強大助力。

AMD EPYC 9006 系列伺服器處理器產品組合陣容堅強，可讓合作夥伴依客戶需求選擇產品系列中合適的處理器，無論是為小型與中型語言模型提供處理器推論、支援規劃與工具使用的協調調度，或透過 AMD 安全性技術（AMD SEV 與可信賴 I/O 功能等）支援機密 AI 環境，都能因應所需。

對於在導入 AI 的同時又要推動現有企業基礎架構現代化的客戶而言，升級至 AMD EPYC 9006 系列伺服器處理器，可保留其軟體堆疊所仰賴的 x86 平台，有助於減少移轉問題，並縮短從 AI 規劃到部署所需的時間。

AMD Arena

透過針對 AMD 各類產品的訓練資源，培養關於 AMD AI 解決方案、AMD EPYC™ 伺服器處理器、AMD Instinct™ 顯示卡和其他產品的專業知識。

開始訓練

代理式 AI 需要高效能運算

在 AI 轉型的大框架中，處理器並非要取代顯示卡。移轉到代理式 AI 後，基礎架構現在需要同時具備強大的處理器與顯示卡，並讓兩者協同運作。您可以藉由這波代理式 AI 轉型，重新檢視客戶更全面的資料中心架構，並向他們提出下列問題：

他們是否仍將 AI 視為獨立的顯示卡專案？

他們是否已開始規劃生產規模 AI？

他們目前的伺服器基礎架構，是否能支援代理式系統所需的運算能力？

電力、冷卻或機架空間限制，是否已經成為他們擴充 AI 的阻礙？

他們是否需要一套以標準為基礎，且能支援現有企業軟體與營運模式的路徑？

這正好提供了一個契機，讓客戶不再只問「我該買哪款加速器？」，而是進一步思考「什麼樣的基礎架構，才能讓企業以可靠、高效率且符合成本效益的方式擴充 AI？」

向您的客戶介紹 AMD EPYC 9006 系列伺服器處理器的強大效能，以及其如何支援企業移轉到代理式 AI。

若要深入瞭解，請洽詢您的 AMD 業務代表，或造訪 AMD.com。

造訪 AMD EPYC 伺服器處理器產品頁面 >

其他資源

相關文章

探索更多文章
尾註
  1. EPYC-067 - 根據 AMD 截至 2026 年 6 月的內部分析與模型推估。分析對象為代理式 AI 系統底層之具代表性的基礎架構工作負載。效能的比較結果，反映的是模擬 100 kW 部署環境下所估算的機架規模輸送量，採用的代理工作負載包括網路服務、資料基礎架構與調度層。結果綜合 AMD 測試、第三方資料與推估所得，並可能因系統配置、軟體堆疊與工作負載組合而有所不同。如需相關假設、工作負載與測量方法的詳細資訊，請參閱 AMD 代理式 AI 機架規模效能部落格與 AMD 方法說明。
  2. 9xx6-005：vCPU 支援數量以核心數為基準，比較頂級的 256 核心 "Venice" 處理器，以及 192 核心第 5 代 EPYC 9965。
  3. 9xx6-003：PCIe 世代比較係根據 PCI-SIG 公佈的說明：https://pcisig.com/pci-express-6.0-specification。 截至 2025 年 6 月 3 日，雙路第 6 代 EPYC 處理器具備 128 條 PCIe Gen 6 通道，第 5 代 EPYC 則具備 128 條 PCIe Gen 5 通道。PCIe 是 PCI-SIG Corporation 的註冊商標。