客戶仍希望汰換其基礎架構
運算環境不斷在變動;由於整個企業市場的 AI 採用風潮仍未退燒,因此其影響已十分明顯:價格上漲與元件短缺。由於記憶體與儲存成本持續維持高檔,因此客戶正重新評估其 IT 與 AI 策略,且由於價格預期最快要到 2027 年才會緩解1,因此許多客戶都在評估基礎架構汰換計畫是否還有絲毫的可行性。
客戶展望未來時,預算面臨緊縮,因此您可能已經聽過這樣的回答:「算了,我們先等熱潮過去再說。」
然而,什麼都不做也會付出代價。
延後更換舊有基礎架構本身也會帶來風險:
- 高營運成本
- 能效低落
- 維護成本上升
- 無法支援現代 AI 工作負載
- 安全性/法規遵循曝險
- 保固/支援到期
面對這些問題,客戶會仰賴像您這樣的合作夥伴提供引導。運用以下深入解析,在客戶進行新硬體投資時提供支援,協助他們作出明智的採購決策。
步上正軌:提供正確指引
步驟 1:稽核環境
在過去,客戶經常會過度佈建伺服器記憶體,以容納最大需求,並為工作負載增添一層彈性。基本上,他們為了能在有需要時將工作負載移動到不同伺服器,會給許多伺服器配置只有少數應用程式需要用到的最高資源。因此,許多環境都是根據理論上的尖峰需求進行佈建,而不是根據實際觀察到的使用量。
在記憶體供應短缺且成本高昂的情況下,這是少數企業才負擔得起的奢侈做法。現在正是時候,適合在工作負載或 AI 運算之增加成長的情況下,與您的客戶合作稽核其內部部署與雲端環境,以判斷他們正在使用哪些資源(處理器、顯示卡與記憶體),以及預測實際、資料導向的需求評估。
AI 工作負載需要平衡的基礎架構規劃
客戶在探索採用 AI 時,瞭解新工作負載可能會如何影響需求,是關鍵之所在。雖然顯示卡常常是 AI 計畫中最受關注的焦點,但記憶體與處理器對於高效率部署與長期擴充性也極其重要。
AI 工作負載會為系統記憶體與儲存基礎架構帶來更大壓力。在每個伺服器上過度佈建記憶體可能不符合成本效益,但佈建不足可能造成限制使用率或降低工作負載效能的瓶頸,這同樣也是無法接受的。
與客戶合作,找出 AI 工作負載預期會在哪些地方擴充、資料將如何在環境中流動,以及哪些系統確實需要更高記憶體容量。適當平衡處理器、顯示卡與記憶體投資,可協助組織支應 AI 採用,不會不必要地增加成本,或犧牲效能與響應速度。
步驟 2:識別非記憶體密集型工作負載
在滿足基準記憶體需求後又額外配置記憶體容量,對於部分工作負載而言,會開始出現邊際效益遞減的現象。對於處理器密集型、I/O 密集型或對延遲敏感的工作負載而言,相較於成本,額外記憶體容量往往只能帶來有限的效能提升。
協助客戶探索較低記憶體的配置,在不實質影響工作負載效能的情況下降低不必要的成本。
步驟 3:將記憶體佈建規模最適化
記憶體成本高昂,因此客戶正確規劃所需記憶體容量極其重要。與您的客戶合作,探索記憶體投資在哪些地方能帶來最大價值,以及他們可以在哪些地方安全地降低記憶體需求。
關鍵任務與高優先性工作負載,應預留充足的餘裕,以因應使用率暴增或未來成長。至於記憶體需求較低的工作負載,則可考慮提供較小容量的 DIMM,或保留記憶體插槽空置(AMD EPYC™ 伺服器處理器支援多種記憶體配置,包括空插槽)。
AMD 可提供協助
一旦客戶瞭解哪些地方可以最佳化記憶體使用率,就能開始評估專為提供更高效能效率所設計的平台,例如採用 AMD EPYC 伺服器處理器的系統。
對於希望汰換現有基礎架構的客戶,值得提醒他們 AMD EPYC 伺服器處理器可用更少記憶體提供出色效能,並為老舊硬體提供極具吸引力的升級路徑。從競爭對手舊有硬體換成最新 AMD EPYC 伺服器處理器,可將整體持有成本降低多達 29%,系統與軟體平均回本期約為 2.5 年2。
例如,在記憶體容量減少 50% 的情況下,用 AMD EPYC 9355P 伺服器處理器執行代表性運算密集型工作負載,效能僅降低 1%3。
運算密集
NGINX、Memcached、FFmpeg、Python 的幾何平均值
單路 32C AMD EPYC 9355P
記憶體減少 50% ➜ 效能 -1%
記憶體容量密集型工作負載可在記憶體限制下彈性擴充;採用 AMD EPYC 9655 處理器的伺服器只需 75% 記憶體容量即可運作,效能僅小幅降低 6%4。
記憶體容量密集
SQL Server
OLAP 單路 96C AMD EPYC 9655
記憶體減少 25% ➜ 效能 -6%
記憶體減少 50% ➜ 效能 -27%
基礎架構現代化也能創造整合與提高虛擬化密度的商機。透過減少伺服器數量並提升效率,您的客戶除了能最佳化記憶體用量,也能降低軟體授權、電力、冷卻與營運成本。能夠購買數量少得多且效能更高的系統,代表 IT 預算中用於記憶體的支出會減少。
對於面臨空間、電力或冷卻限制的組織而言,提升基礎架構效率有助於延伸現有資料中心產能,無需立即擴充。隨著 AI 工作負載持續提高對基礎架構的需求,這方面的營運效率將與原始效能一樣變得越來越重要。
提供協助客戶成功的工具
AMD 提供一系列工具,可協助您支援客戶因應充滿挑戰的市場。若要協助將記憶體預算規模最適化,請使用下列工具估算內部部署與雲端環境的記憶體需求:
針對雲端基礎架構,請使用 AMD EPYC™ Cloud Instance Advisor。
執行 TCO 分析,請使用 AMD EPYC™ TCO 建議工具;這是一款網頁式工具,可讓您與客戶合作,根據目前的記憶體價格,以及自訂的記憶體價格,分析不同 TCO 情境。
AMD 將持續支援合作夥伴及其客戶,提供領先效能與最佳化基礎架構。使用 AMD EPYC 伺服器處理器等硬體平台,以及上述工具,有助於在充滿挑戰的市場週期中平衡效能、擴充性與記憶體效率。
雖然記憶體價格壓力持續影響基礎架構規劃,但延後現代化可能導致長期營運效率不佳與成本上升。透過稽核工作負載、將記憶體投資規模最適化,並找出整合商機,合作夥伴能協助客戶有策略地推動現代化。
若要深入瞭解,請洽詢您的 AMD 代表。
AMD Arena
透過針對 AMD 各類產品的訓練資源,培養關於 AMD AI 解決方案、AMD EPYC™ 伺服器處理器、AMD Instinct™ 顯示卡和其他產品的專業知識。
訂閱
取得關於最新 AMD 產品、訓練資源和「專家面對面」網路研討會的每月最新消息。
相關文章
尾註
- Gartner,新興問題:因應持續到 2027 年的記憶體通膨 (Managing Memflation Through 2027),Joseph Unsworth,2026 年 2 月 27 日
GARTNER 是 Gartner, Inc. 和/或其關係企業的商標。
- 9xx5TCO-025 這個情境包含了許多假設和估算,儘管有 AMD 內部研究和最佳近似值為其基礎,但仍應視為僅供參考的示例,不得未經實際測試即以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO(整體持有成本)估算器工具 - 1.56 版,比較截至 2026 年 3 月 12 日為止,為滿足 44,600 單位 SPECrate2017_int_base 效能的總效能所設計,分別採用 AMD EPYC™ 和 Intel® Xeon® 處理器的特定伺服器解決方案。此分析的分析對象為採用 AMD 64 核心 EPYC 9535 的雙路伺服器,SPECrate2017_int_base 分數為 1640,
https://spec.org/cpu2017/results/res2025q3/cpu2017-20250728-49231.pdf ;比較對象為採用舊型 Intel Gold 6338 32 核心的雙路伺服器,SPECrate2017_int_base 分數為 446,https://spec.org/cpu2017/results/res2023q2/cpu2017-20230423-35994.pdf
已調整公開的 EPYC 9535 SPEC 分數,以估算將記憶體配置從最高數量 24 個 64 GB RDIMM 減少至 16 個 64 GB RDIMM,或約 3/4 記憶體頻寬時的效能影響。降額計算是根據我們的內部實驗室測試,此測試是用 SPECrate®2017_int_base 基準測試執行,並以估計的 SPECrate®2017_int_base 分數為其目標值。
降低記憶體頻寬時的工作負載效能,取決於工作負載特性與記憶體敏感度。所示結果僅限於顯示的特定工作負載,不應概括套用至其他工作負載。
https://www.carbondi.com/#electricity-factors/、https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator。如需更多詳細資訊,請參閱 https://www.amd.com/zh-tw/legal/claims/epyc.html#q=9xx5TCO-025。
- 9xx5-281:4 項特定非記憶體密集型 Phoronix 工作負載結果的幾何平均值,根據截至 2026 年 4 月 1 日的 Phoronix Test Suite 付費測試。
工作負載配置:Memcached - Set 與 Get 比例:1:10 (Ops/sec),nginx - 連線數:500 (Reqs/sec),計時 FFmpeg 編譯 - 編譯時間(秒),計時 CPython 編譯 - 建置配置:正式發行版本,PGO + LTO 最佳化(秒)
採用單路 32C AMD EPYC 9355P 的生產環境系統,BIOS 3.8,2 個 3841 GB SAMSUNG MZWLO3T8HCLS-00A07,2 個 Broadcom NetXtreme BCM5720 PCIe,Ubuntu 26.04 6.19.0-9-generic (x86_64),GCC 15.2.0,SMT=on,記憶體配置:12 個 64 GB DDR5-6400 (6000 MT/s),6 個 64 GB DDR5-6400 (6000 MT/s)。工作負載 50% 記憶體 100% 記憶體 正規化相對值 (HIB) memcached 5581297.57 5601003.16 0.996 nginx 348480.18 347401.43 1.003
ffmpeg 22.912 22.679 0.99
python 203.185 202.906 0.999
幾何平均值 0.997
- 9xx5-282:MySQL TPC-H 衍生工作負載 (SQL Server OLTP Brokerage) 估計值,根據截至 2026 年 4 月 1 日的 AMD 內部測量。MySQL TPC-H 工作負載衍生自 TPC-Benchmark™ Standard,因此不可與公開的 TPC-H™ 結果比較,因為該結果不符合 TPC-H Benchmark Standard。
工作負載配置:MySQL 8.0.39,SF3000
採用單路 AMD EPYC 9655 的參考系統(共 96 核心),Ubuntu 24.04.2 LTS (Linux 6.8.0-60-generic),BIOS RVC100DB,SMT=on,Mitigations=off,Power Determinism,記憶體配置:12 個 128 GB DDR5-6400(100% 容量),12 個 96 GB DDR5-6400(約 75% 容量),
12 個 64 GB DDR5-6400(約 50% 容量)
DIMM 分數 相對值
128 2065198.0 1.00
96 1949138.6 0.95
64 1500947.6 0.73
降低記憶體容量時的工作負載效能,取決於工作負載特性與記憶體敏感度。所示結果僅限於受測的特定工作負載,不應概括套用至其他工作負載。影響這些特定結果的變數包括但不限於系統配置、軟體版本與 BIOS 設定。TPC、TPC Benchmark 與 TPC-H 是 Transaction Processing Performance Council 的商標
- Gartner,新興問題:因應持續到 2027 年的記憶體通膨 (Managing Memflation Through 2027),Joseph Unsworth,2026 年 2 月 27 日
GARTNER 是 Gartner, Inc. 和/或其關係企業的商標。 - 9xx5TCO-025 這個情境包含了許多假設和估算,儘管有 AMD 內部研究和最佳近似值為其基礎,但仍應視為僅供參考的示例,不得未經實際測試即以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO(整體持有成本)估算器工具 - 1.56 版,比較截至 2026 年 3 月 12 日為止,為滿足 44,600 單位 SPECrate2017_int_base 效能的總效能所設計,分別採用 AMD EPYC™ 和 Intel® Xeon® 處理器的特定伺服器解決方案。此分析的分析對象為採用 AMD 64 核心 EPYC 9535 的雙路伺服器,SPECrate2017_int_base 分數為 1640,
- 9xx5-281:4 項特定非記憶體密集型 Phoronix 工作負載結果的幾何平均值,根據截至 2026 年 4 月 1 日的 Phoronix Test Suite 付費測試。
- 9xx5-282:MySQL TPC-H 衍生工作負載 (SQL Server OLTP Brokerage) 估計值,根據截至 2026 年 4 月 1 日的 AMD 內部測量。MySQL TPC-H 工作負載衍生自 TPC-Benchmark™ Standard,因此不可與公開的 TPC-H™ 結果比較,因為該結果不符合 TPC-H Benchmark Standard。
https://spec.org/cpu2017/results/res2025q3/cpu2017-20250728-49231.pdf ;比較對象為採用舊型 Intel Gold 6338 32 核心的雙路伺服器,SPECrate2017_int_base 分數為 446,https://spec.org/cpu2017/results/res2023q2/cpu2017-20230423-35994.pdf
已調整公開的 EPYC 9535 SPEC 分數,以估算將記憶體配置從最高數量 24 個 64 GB RDIMM 減少至 16 個 64 GB RDIMM,或約 3/4 記憶體頻寬時的效能影響。降額計算是根據我們的內部實驗室測試,此測試是用 SPECrate®2017_int_base 基準測試執行,並以估計的 SPECrate®2017_int_base 分數為其目標值。
降低記憶體頻寬時的工作負載效能,取決於工作負載特性與記憶體敏感度。所示結果僅限於顯示的特定工作負載,不應概括套用至其他工作負載。
https://www.carbondi.com/#electricity-factors/、https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator。如需更多詳細資訊,請參閱 https://www.amd.com/zh-tw/legal/claims/epyc.html#q=9xx5TCO-025。
工作負載配置:Memcached - Set 與 Get 比例:1:10 (Ops/sec),nginx - 連線數:500 (Reqs/sec),計時 FFmpeg 編譯 - 編譯時間(秒),計時 CPython 編譯 - 建置配置:正式發行版本,PGO + LTO 最佳化(秒)
採用單路 32C AMD EPYC 9355P 的生產環境系統,BIOS 3.8,2 個 3841 GB SAMSUNG MZWLO3T8HCLS-00A07,2 個 Broadcom NetXtreme BCM5720 PCIe,Ubuntu 26.04 6.19.0-9-generic (x86_64),GCC 15.2.0,SMT=on,記憶體配置:12 個 64 GB DDR5-6400 (6000 MT/s),6 個 64 GB DDR5-6400 (6000 MT/s)。工作負載 50% 記憶體 100% 記憶體 正規化相對值 (HIB) memcached 5581297.57 5601003.16 0.996 nginx 348480.18 347401.43 1.003
ffmpeg 22.912 22.679 0.99
python 203.185 202.906 0.999
幾何平均值 0.997
工作負載配置:MySQL 8.0.39,SF3000
採用單路 AMD EPYC 9655 的參考系統(共 96 核心),Ubuntu 24.04.2 LTS (Linux 6.8.0-60-generic),BIOS RVC100DB,SMT=on,Mitigations=off,Power Determinism,記憶體配置:12 個 128 GB DDR5-6400(100% 容量),12 個 96 GB DDR5-6400(約 75% 容量),
12 個 64 GB DDR5-6400(約 50% 容量)
DIMM 分數 相對值
128 2065198.0 1.00
96 1949138.6 0.95
64 1500947.6 0.73
降低記憶體容量時的工作負載效能,取決於工作負載特性與記憶體敏感度。所示結果僅限於受測的特定工作負載,不應概括套用至其他工作負載。影響這些特定結果的變數包括但不限於系統配置、軟體版本與 BIOS 設定。TPC、TPC Benchmark 與 TPC-H 是 Transaction Processing Performance Council 的商標