AI 요구 사항에 맞는 AMD 하드웨어 선택
AMD EPYC 서버 CPU부터 AI를 위한 AMD 포트폴리오에 대한 개요를 확인하고, AI 워크플로우 전반에 걸쳐 다양한 유형의 하드웨어를 사용하는 방법을 둘러 보세요.
광범위한 산업 영향력을 제공하는 AI 기술
AMD EPYC 서버 CPU는 AI 배포의 크기 또는 규모에 관계없이 엔터프라이즈 AI 및 범용 워크로드를 위한 에너지 효율적인 고성능 기반을 제공합니다.
AMD EPYC 서버 CPU가 엔터프라이즈 AI에 가장 적합한 이유 살펴보기9
5세대 AMD EPYC 서버 CPU는 높은 코어 수 또는 고주파수, 충분한 메모리 및 I/O 대역폭, AVX-512 명령어 지원 등의 옵션을 통해 AI의 요구에 부응합니다. AMD Infinity Guard의 빌트인 보안 기술을 통해 실리콘 레이어에 이르기까지 데이터를 안전하게 보호할 수 있습니다.7
AI에 적합한 데이터 센터를 구축하는 방법
AI에 적합한 데이터 센터를 구축하기 위해서는 보안에 맞춰 설계된 범용 컴퓨팅 기반이 필요하며, 성능과 워크로드 요구 사항에 맞게 필요한 만큼 GPU를 추가할 수 있습니다. 미래의 데이터 센터를 AI를 구동할 수 있는 멀티태스킹 파워하우스로 최적화하는 방법은 다음과 같습니다.
1단계
기존 서버 통합
데이터 센터의 공간과 전력은 제한되어 있습니다. 기존 서버를 새로운 고밀도 CPU로 교체함으로써 서버 수를 줄이고 관련 에너지 소비를 줄이며 AI 도입에 위한 공간을 확보할 수 있습니다.
8에서 1로 통합
2020년 인텔® “Cascade Lake” 서버에서 5세대 AMD EPYC CPU 기반 서버로 이전하세요.
최대
86%
더 적은 서버 수¹
최대
69%
전력 감소¹
최대
41%
더 낮은 3년간 TCO¹
AMD EPYC 9965 CPU 기반 서버 14대가 인텔 제온 Platinum 8280 CPU를 실행하는 100대의 구형 서버와 동일한 정수 성능을 제공할 수 있습니다.
최신 인텔® 제온® 6 CPU보다 뛰어난 성능 제공
최대
29%
더 높은 정수 성능²
최대
66%
더 나은 전력 효율³
5세대 AMD EPYC 9965 CPU는 “성능 코어”를 탑재한 최신 인텔 제온 6 6980P CPU를 능가합니다.
2단계
CPU를 사용하여 새로운 AI 워크로드 지원
많은 추론 워크로드가 CPU에서 실행되며 특별한 가속기 하드웨어가 필요하지 않습니다. 중소 규모의 모델을 실행하거나 간헐적으로 AI 작업을 할 계획이라면 5세대 EPYC 서버 CPU의 높은 코어 수를 사용하면 성능 요구 사항을 충족할 수 있습니다.
최대
70%
인텔 제온 6세대보다 더 향상된 엔드 투 엔드 AI 성능
AMD EPYC 9965 CPU는 TPCxAI에서 인텔 제온 6 6980P CPU보다 뛰어납니다.
3단계
필요에 따라 GPU 보강
학습, 대규모 모델 추론, 대규모 배포 또는 짧은 대기 시간 사용 사례를 위한 전용 AI 가속화가 필요할 수 있습니다. AMD EPYC 9005 서버 CPU를 호스트 CPU로 시작해 높은 주파수와 대용량 메모리 용량을 활용해 보세요. PCIe 폼 팩터에서 사용할 수 있는 AMD Instinct™ 가속기와 같은 GPU를 추가하세요.
최대
~10x
AMD EPYC 9575F 사용 시 인텔 제온 8592+ Ed 대비 NVIDIA H100에 대한 지연율 제한 추론 향상⁵
최대
11%
AMD EPYC 9575F를 탑재한 AMD Instinct MI300X 사용 시 인텔 제온 Platinum 8460Y+ 대비 추론 향상⁶
4단계
빌트인 보안 기능 활용
모든 AI 배포에서 데이터 보호를 고려해야 합니다. AMD EPYC 서버는 여러 가지 정교한 공격에 대응할 수 있도록 보안을 염두에 두고 설계되었습니다. 실리콘 단계에서 빌트인되어 있는 AMD Infinity Guard7는 내부 및 외부 위협으로부터 방어하고 데이터를 안전하게 보호하는 데 도움을 줍니다.
5단계
온프레미스와 클라우드의 적절한 조합
온프레미스와 클라우드 리소스를 적절하게 결합한 유연한 AI 인프라를 통해 신속하게 확장할 수 있습니다. 수백 개의 하드웨어 옵션과 수천 개의 공용 클라우드 인스턴스에서 AMD EPYC 서버 CPU를 사용합니다.
온프레미스로 실행
350+
하드웨어 플랫폼
클라우드에서 확장
1,000+
퍼블릭 클라우드 인스턴스
AMD EPYC 서버 CPU를 사용하여 AI용 도구 개편
자주 묻는 질문
AI 하드웨어에 투자하기 전에 데이터 센터 설계자는 AI 워크로드와 성능 요구 사항을 평가해야 합니다. 경우에 따라 범용 AMD EPYC 서버 CPU는 추론에 충분한 성능을 제공하므로 GPU를 구입할 필요가 없을 수도 있습니다.
일반적으로 AMD EPYC 서버 CPU는 최대 200억 개의 매개변수를 사용하는 모델에 충분한 성능을 제공합니다. 여기에는 많은 인기 있는 대형 언어 모델(LLM)과 기타 생성 AI 애플리케이션이 포함됩니다.
AMD EPYC 서버 CPU는 많은 추론 활용 사례에 적합합니다. 여기에는 기존 머신 러닝, 컴퓨터 비전, 메모리 집약적인 그래프 분석, 추천 시스템, 자연어 처리, LLM과 같은 소규모 및 중규모 생성형 AI 모델이 포함됩니다. 증강 생성(RAG) 모델을 검색하는 데 많이 사용되는 전문적으로 조정된 AI 에이전트와 협업 프롬프트 기반 전처리에도 적합합니다.
5세대 AMD EPYC 서버 CPU는 인텔 제온 6 대비 엔드 투 엔드 AI 성능이 70% 더 우수합니다4. 또한 AMD EPYC 9965는 인텔 제온 6980P 대비 DeepSeek에서 챗봇 성능이 최대 89% 더 우수하며8 LLM에서도 괄목할 만한 성능을 제공합니다.
데이터 인접성 또는 개인 정보 보호 요구 사항을 준수해야 하거나 낮은 지연율에 대한 엄격한 요구 사항이 있는 경우 AI를 온프레미스 방식으로 실행하는 것이 좋습니다. 만약 빠르게 확장하거나 축소할 수 있는 유연성이 필요하다면 주문형 리소스를 위해 클라우드를 선택하는 것이 이상적입니다.
AI에 적합한 CPU 선택
AMD EPYC 서버 CPU를 사용하면 폭 넓은 코어, 주파수, 메모리, 전원 옵션을 선택할 수 있습니다. 가장 많이 실행할 AI 워크로드에 맞는 CPU를 선택하면 최상의 결과를 얻을 수 있습니다.
엔드 투 엔드 AI 워크플로에 필요한 탁월한 성능
실제 AI 및 머신 러닝 애플리케이션의 경우 AMD EPYC 9965가 인텔 제온 6980P보다 뛰어난 성능을 발휘합니다.
최대
70%
더 우수한 엔드 투 엔드 AI 성능⁴
최대
60%
더 높은 Facebook AI 유사성 검색 성능¹⁰
최대
93%
더 높은 머신 러닝 성능¹¹
대규모 언어 모델(LLM)에 필요한 뛰어난 CPU 성능
최대 수십억 개의 매개 변수를 지원하는 LLM을 위한 성능을 갖춘 챗봇, 지능형 검색 에이전트, 기타 생성형 AI 애플리케이션을 자신 있게 배포할 수 있습니다. AMD EPYC 9965는 인텔 제온 6980P보다 성능이 뛰어납니다.
최대
89%
DeepSeek의 챗봇 성능 향상⁴
최대
33%
Llama 3.1 88에서 중규모 언어 모델에서 더 높은 성능¹²
최대
28%
GPT-J 6B에서 요약 사용 사례 처리율에서 더 높은 성능¹³
최대
36%
Llama 3.2 1B의 번역 사용 사례에서 더 높은 성능¹⁴
AI의 전체 스펙트럼을 지원하는 AMD
AI 목표와 부합하도록 인프라 요구 사항을 설정하세요. AMD는 가장 광범위한 AI 포트폴리오, 개방형 표준 기반 플랫폼, 강력한 생태계를 갖추고 있으며, 이 모든 것이 성능 리더십에 기초하고 있습니다.
유연한 AI 개발을 위한 개방형 소프트웨어
개발자는 AMD ZenDNN 및 AMD ROCm™ 소프트웨어를 통해 원하는 프레임워크를 사용하여 애플리케이션 성능을 최적화할 수 있습니다.
AMD EPYC 배포 옵션
AI 온프레미스에 대한 광범위한 생태계
AMD의 OEM 파트너에서 높은 코어 수와 고주파수 CPU를 갖춘 서버, 최고급 GPU 라인, 상호 운용 가능한 네트워크 솔루션 등 엔터프라이즈 AI 하드웨어를 찾아보세요.
클라우드에서 AI 확장
AI 워크로드용 AMD 기술 기반 가상 머신(VM)을 선택하여 클라우드를 최대한 활용할 수 있습니다.
리소스
AMD 데이터 센터 동향 구독하기
AMD EPYC 영업 전문가 연락 요청하기
각주
- 9xxTCO-019[DM1] [MK2] : 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.53는 2025년 9월 30일 현재 391,000개 유닛의 SPECrate2017_int_base 성능 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 분석에서는 SPECrate2017_int_base 점수가 3230점인 2P AMD 192코어 EPYC_9965 기반 서버(https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf), SPECrate2017_int_base 점수가 2510점인 2P 인텔 제온 128코어 제온_6980P 기반 서버(https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf) 및 SPECrate2017_int_base 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버(https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf)를 비교했습니다. 환경 영향 추정지는 2025년 전 세계 국가별 전력 배출 계수 데이터를 사용해 산정되었으며 해당 데이터는 https://www.carbondi.com/#electricity-factors/에서 확인할 수 있고 이 분석에 사용된 미국 EPA 온실가스 등가 계산기는 2024년 9월 4일 기준이며 https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator에서 찾을 수 있습니다. 자세한 사항은 https://www.amd.com/claims/9xx5TCO-019를 참조하세요.
- 9xx5-128A: SPECrate®2017_int_base 비교 수치는 2025년 5월 9일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3230 SPECrate®2017_int_base, 총 코어 384개, 500W TDP, $14,813 CPU $), 6.460 SPECrate®2017_int_base/CPU W, 0.218 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html) 2P AMD EPYC 9755(2840 SPECrate®2017_int_base, 총 코어 256개, 500W TDP, $12,984 CPU $), 5.680 SPECrate®2017_int_base/CPU W, 0.219 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html) 2P 인텔 제온 6980P(2510 SPECrate®2017_int_base, 총 코어 256개, 500W TDP, $12,460 CPU $) 5.020 SPECrate®2017_int_base/CPU W, 0.201 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 2025년 4월 17일 기준 인텔 CPU TDP 및 가격(https://ark.intel.com/)입니다.
- 9xx5-134: SPECpower_ssj® 2008 비교 수치는 2025년 4월 30일 기준 www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(35920 ssj_ops/watt, 총 코어 384개, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) 2P AMD EPYC 9755(29950 ssj_ops/watt, 총 코어 256개, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) 2P 인텔 제온 6980P(21679 ssj_ops/watt, 총 코어 256개, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요.
- 9xx5-151: 2025년 4월 1일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(6067.53 총 AIUCpm, 총 코어 384개, 500W TDP, AMD 참조 시스템, 1.5TB 24x64GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910), 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 24.04 LTS kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755(4073.42 총 AIUCpm, 총 코어 256개, 500W TDP, AMD 참조 시스템, 1.5TB 24x64GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P Intel Xeon 6980P (3550.50 총 AIUCpm, 총 코어 256개, 500W TDP, 프로덕션 시스템, 1.5TB 24x64GB DDR5-6400, 4 x 1GbE Broadcom NetXtreme BCM5719 기가비트 이더넷 PCIe 3.84TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS kernel 6.13, SMT=ON, Performance Bias, Mitigations=on) 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등을 포함하되 이에 국한되지 않는 요인에 따라 달라질 수 있습니다. TPC, TPC Benchmark 및 TPC-H는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-169: Llama-3.3-70B 지연율 제한 처리율(goodput) 결과는 2025년 5월 14일 기준 AMD 내부 테스트에 기초합니다. 구성: Llama-3.3-70B, vLLM API 서버 v1.0, 데이터 세트: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 최대 요청 512개(동적 배치), 첫 번째 토큰에 지연율 제한 시간(300ms, 400ms, 500ms, 600ms), OpenMP 128, 결과 단위 토큰/초. 2P AMD EPYC 9575F(총 코어 128개, 400W TDP, 프로덕션 시스템, 6000 MT/s에서 1.5TB 24x64GB DDR5-6400 실행, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKCC800TFS 800GB NVMe for OS, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic , BIOS 3.2, SMT=OFF, Determinism=power, mitigations=off) , NVIDIA H100 8대 사용. 2P 인텔 제온 8592+(총 코어 128개, 350W TDP, 프로덕션 시스템, 1TB 16x64GB DDR5-5600, 2 x 25GbE ConnectX-6 Lx(MT2894), 4x 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=OFF, Performance Bias, Mitigations=off), NVIDIA H100 8대 사용. 결과: CPU 300 400 500 600, 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21, 2531.38 2572.42, 상대 NA 18.40 1.62 1.29. 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다. ark.intel.com에 게시된 TDP 정보
- 9xx5-013: 공식 MLPerf™ 추론 점수 v4.1 Llama2-70B-99.9 서버 토큰/s 및 오프라인 토큰/s 결과는 2024년 9월 1일 https://mlcommons.org/benchmarks/inference-datacenter/의 다음 항목에서 검색되었습니다. 4.1-0070(프리뷰) 및 4.1.0022. MLPerf™ 이름과 로고는 미국 및 기타 국가에서 MLCommons Association의 상표입니다. All rights reserved. 무단 사용은 엄격히 금지됩니다. 자세한 사항은 www.mlcommons.org를 참조하세요.
- GD-183A: AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 내용은 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html 페이지를 참조하세요.
- 9xx5-152A: Deepseek-R1-671B 처리율 결과는 2025년 1월 28일 기준 AMD 내부 테스트에 기초합니다. 구성: llama.cpp 프레임워크, 1.58비트 양자화(UD_IQ1_S, 1.56비트의 MOE), 배치 크기 1 및 4, 16C 인스턴스, 사용 사례 입/출력 토큰 구성: [챗봇 = 128/128, 에세이 = 128/1024, 요약 = 1024/128, 다시 쓰기 = 1024/1024]. 2P AMD EPYC 9965(총 384코어, 500W TDP, 참조 시스템, 3TB 24x128GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755(총 256코어, 500W TDP, 참조 시스템, 3TB 24x128GB DDR5-6400, 2 x 40 GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P 인텔 제온 6980P(총 256코어, 500W TDP, 프로덕션 시스템, 3TB 24x64GB DDR5-6400, 4 x 1GbE Broadcom NetXtreme BCM5719기가비트 이더넷 PCIe 3.84TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT=ON, Performance Bias, Mitigations=on) 결과: BS=1 6980P 9755 9965 Rel9755 Rel9965 챗봇 47.31 61.88 70.344 1.308 1.487 에세이 42.97 56.04 61.608 1.304 1.434 요약 44.99 59.39 62.304 1.32 1.385 다시 쓰기 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 챗봇 76.01 104.46 143.496 1.374 1.888 에세이 67.89 93.68 116.064 1.38 1.71 요약 70.88 103.39 99.96 1.459 1.41 다시 쓰기65 87.9 78.12 1.352 1.202 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 2024년 10월 10일 현재 출하 중인 서버의 스레드 밀도, 성능, 기본, 처리 기술, 빌트인 보안 기능을 기반으로 한 비교. EPYC 9005 시리즈 CPU는 최고 수준의 스레드 밀도[EPYC-025B]를 제공하고, 성능 세계 기록과 엔터프라이즈 리더십 Java® 초당 ops 성능[EPYCWR-20241010-260]을 포함하여 500개 이상의 성능 세계 기록으로 업계를 선도[EPYC-023F]하며, 최고의 HPC 리더십과 부동 소수점 처리율 성능[EPYCWR-2024-1010-381], TPCx-AI 성능을 포함하여 AI 종합 성능[EPYCWR-2024-1010-525] 및 최고 수준의 에너지 효율성 점수[EPYCWR-20241010-326]를 제공합니다. 5세대 EPYC 시리즈는 또한 50% 더 많은 DDR5 메모리 채널[EPYC-033C]과 70% 더 많은 메모리 대역폭[EPYC-032C]을 갖추고 있으며 I/O 처리율[EPYC-035C]에 70% 더 많은 PCIe® Gen5 레인을 지원하고, 보다 빠른 데이터 액세스를 위해 최대 5배 더 빠른 L3 캐시/코어[EPYC-043C]를 사용하며, 고급 3~4nm 기술을 사용하고, 보안 메모리 암호화 + 보안 암호 가상화 + SEV 암호화 상태 + SEV 보안 네스티드 페이징 보안 기능을 제공합니다. 자세한 내용은 AMD EPYC 아키텍처 백서(https://library.amd.com/l/3f4587d147382e2/)를 참조하세요.
- 9xx5-164: FAISS(시간당 실행) 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: v1.7.2, sift1m 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P 제온 6980P(총 코어 256개), 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias) 결과: 처리율 상대 2P 6980P 36.63 1 2P 9755 46.86 1.279 2P 9965 58.6 1.600 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-162: XGBoost(시간당 실행) 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v1.7.2, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P 제온 6980P(총 코어 256개), 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias) 결과: CPU 처리율 상대 2P 6980P 400 1 2P 9755 436 1.090 2P 9965 771 1.928 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-156: Llama3.1-8B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. Llama3.1-8B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P Xeon 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on Performance Bias), IPEX 2.6.0 결과: CPU 6980P 9755 9965 요약 1 n/a1.093 번역 1 1.062 1.334 에세이 1 n/A 1.14 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-158: GPT-J-6B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. GPT-J-6B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P 제온 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 결과: CPU 6980P 9755 9965 요약 1 1.034 1.279 챗봇 1 0.975 1.163 번역 1 1.021 0.93 에세이 1 0.978 1.108 캡션 1 0.913 1.12 전체 1 0.983 1.114 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-166: Llama3.2-1B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. Llama3.3-1B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.2 2P 제온 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 결과: CPU 6980P 9965 요약 1 1.213 번역 1 1.364 에세이 1 1.271 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다.
2P AMD EPYC 9965(총 384코어), 12개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755(총 256코어), 8개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654(총 192코어) 6개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power)
vs. 2P 제온 Platinum 8592+(총 128코어), 4개 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled)
결과:
CPU 중간값 상대 세대 간
Turin 192C, 12 Inst 6067.531 3.775 2.278
Turin 128C, 8 Inst 4091.85 2.546 1.536
Genoa 96C, 6 Inst 2663.14 1.657 1
EMR 64C, 4 Inst 1607.417 1 NA
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
각주
- 9xxTCO-019[DM1] [MK2] : 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.53는 2025년 9월 30일 현재 391,000개 유닛의 SPECrate2017_int_base 성능 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 분석에서는 SPECrate2017_int_base 점수가 3230점인 2P AMD 192코어 EPYC_9965 기반 서버(https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf), SPECrate2017_int_base 점수가 2510점인 2P 인텔 제온 128코어 제온_6980P 기반 서버(https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf) 및 SPECrate2017_int_base 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버(https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf)를 비교했습니다. 환경 영향 추정지는 2025년 전 세계 국가별 전력 배출 계수 데이터를 사용해 산정되었으며 해당 데이터는 https://www.carbondi.com/#electricity-factors/에서 확인할 수 있고 이 분석에 사용된 미국 EPA 온실가스 등가 계산기는 2024년 9월 4일 기준이며 https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator에서 찾을 수 있습니다. 자세한 사항은 https://www.amd.com/claims/9xx5TCO-019를 참조하세요.
- 9xx5-128A: SPECrate®2017_int_base 비교 수치는 2025년 5월 9일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3230 SPECrate®2017_int_base, 총 코어 384개, 500W TDP, $14,813 CPU $), 6.460 SPECrate®2017_int_base/CPU W, 0.218 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html) 2P AMD EPYC 9755(2840 SPECrate®2017_int_base, 총 코어 256개, 500W TDP, $12,984 CPU $), 5.680 SPECrate®2017_int_base/CPU W, 0.219 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html) 2P 인텔 제온 6980P(2510 SPECrate®2017_int_base, 총 코어 256개, 500W TDP, $12,460 CPU $) 5.020 SPECrate®2017_int_base/CPU W, 0.201 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 2025년 4월 17일 기준 인텔 CPU TDP 및 가격(https://ark.intel.com/)입니다.
- 9xx5-134: SPECpower_ssj® 2008 비교 수치는 2025년 4월 30일 기준 www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(35920 ssj_ops/watt, 총 코어 384개, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) 2P AMD EPYC 9755(29950 ssj_ops/watt, 총 코어 256개, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) 2P 인텔 제온 6980P(21679 ssj_ops/watt, 총 코어 256개, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요.
- 9xx5-151: 2025년 4월 1일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(6067.53 총 AIUCpm, 총 코어 384개, 500W TDP, AMD 참조 시스템, 1.5TB 24x64GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910), 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 24.04 LTS kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755(4073.42 총 AIUCpm, 총 코어 256개, 500W TDP, AMD 참조 시스템, 1.5TB 24x64GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS kernel 6.13, SMT=ON, Determinism=power, Mitigations=on) 2P Intel Xeon 6980P (3550.50 총 AIUCpm, 총 코어 256개, 500W TDP, 프로덕션 시스템, 1.5TB 24x64GB DDR5-6400, 4 x 1GbE Broadcom NetXtreme BCM5719 기가비트 이더넷 PCIe 3.84TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04 LTS kernel 6.13, SMT=ON, Performance Bias, Mitigations=on) 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등을 포함하되 이에 국한되지 않는 요인에 따라 달라질 수 있습니다. TPC, TPC Benchmark 및 TPC-H는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-169: Llama-3.3-70B 지연율 제한 처리율(goodput) 결과는 2025년 5월 14일 기준 AMD 내부 테스트에 기초합니다. 구성: Llama-3.3-70B, vLLM API 서버 v1.0, 데이터 세트: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 최대 요청 512개(동적 배치), 첫 번째 토큰에 지연율 제한 시간(300ms, 400ms, 500ms, 600ms), OpenMP 128, 결과 단위 토큰/초. 2P AMD EPYC 9575F(총 코어 128개, 400W TDP, 프로덕션 시스템, 6000 MT/s에서 1.5TB 24x64GB DDR5-6400 실행, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKCC800TFS 800GB NVMe for OS, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic , BIOS 3.2, SMT=OFF, Determinism=power, mitigations=off) , NVIDIA H100 8대 사용. 2P 인텔 제온 8592+(총 코어 128개, 350W TDP, 프로덕션 시스템, 1TB 16x64GB DDR5-5600, 2 x 25GbE ConnectX-6 Lx(MT2894), 4x 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=OFF, Performance Bias, Mitigations=off), NVIDIA H100 8대 사용. 결과: CPU 300 400 500 600, 8592+ 0 126.43 1565.65 1987.19; 9575F 346.11 2326.21, 2531.38 2572.42, 상대 NA 18.40 1.62 1.29. 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다. ark.intel.com에 게시된 TDP 정보
- 9xx5-013: 공식 MLPerf™ 추론 점수 v4.1 Llama2-70B-99.9 서버 토큰/s 및 오프라인 토큰/s 결과는 2024년 9월 1일 https://mlcommons.org/benchmarks/inference-datacenter/의 다음 항목에서 검색되었습니다. 4.1-0070(프리뷰) 및 4.1.0022. MLPerf™ 이름과 로고는 미국 및 기타 국가에서 MLCommons Association의 상표입니다. All rights reserved. 무단 사용은 엄격히 금지됩니다. 자세한 사항은 www.mlcommons.org를 참조하세요.
- GD-183A: AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 내용은 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html 페이지를 참조하세요.
- 9xx5-152A: Deepseek-R1-671B 처리율 결과는 2025년 1월 28일 기준 AMD 내부 테스트에 기초합니다. 구성: llama.cpp 프레임워크, 1.58비트 양자화(UD_IQ1_S, 1.56비트의 MOE), 배치 크기 1 및 4, 16C 인스턴스, 사용 사례 입/출력 토큰 구성: [챗봇 = 128/128, 에세이 = 128/1024, 요약 = 1024/128, 다시 쓰기 = 1024/1024]. 2P AMD EPYC 9965(총 384코어, 500W TDP, 참조 시스템, 3TB 24x128GB DDR5-6400, 2 x 40GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P AMD EPYC 9755(총 256코어, 500W TDP, 참조 시스템, 3TB 24x128GB DDR5-6400, 2 x 40 GbE Mellanox CX-7(MT2910) 3.84TB Samsung MZWLO3T8HCLS-00A07 NVMe, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic), SMT=ON, Determinism=power, Mitigations=on) 2P 인텔 제온 6980P(총 256코어, 500W TDP, 프로덕션 시스템, 3TB 24x64GB DDR5-6400, 4 x 1GbE Broadcom NetXtreme BCM5719기가비트 이더넷 PCIe 3.84TB SAMSUNG MZWLO3T8HCLS-00A07 NVMe, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic, SMT=ON, Performance Bias, Mitigations=on) 결과: BS=1 6980P 9755 9965 Rel9755 Rel9965 챗봇 47.31 61.88 70.344 1.308 1.487 에세이 42.97 56.04 61.608 1.304 1.434 요약 44.99 59.39 62.304 1.32 1.385 다시 쓰기 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 챗봇 76.01 104.46 143.496 1.374 1.888 에세이 67.89 93.68 116.064 1.38 1.71 요약 70.88 103.39 99.96 1.459 1.41 다시 쓰기65 87.9 78.12 1.352 1.202 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 2024년 10월 10일 현재 출하 중인 서버의 스레드 밀도, 성능, 기본, 처리 기술, 빌트인 보안 기능을 기반으로 한 비교. EPYC 9005 시리즈 CPU는 최고 수준의 스레드 밀도[EPYC-025B]를 제공하고, 성능 세계 기록과 엔터프라이즈 리더십 Java® 초당 ops 성능[EPYCWR-20241010-260]을 포함하여 500개 이상의 성능 세계 기록으로 업계를 선도[EPYC-023F]하며, 최고의 HPC 리더십과 부동 소수점 처리율 성능[EPYCWR-2024-1010-381], TPCx-AI 성능을 포함하여 AI 종합 성능[EPYCWR-2024-1010-525] 및 최고 수준의 에너지 효율성 점수[EPYCWR-20241010-326]를 제공합니다. 5세대 EPYC 시리즈는 또한 50% 더 많은 DDR5 메모리 채널[EPYC-033C]과 70% 더 많은 메모리 대역폭[EPYC-032C]을 갖추고 있으며 I/O 처리율[EPYC-035C]에 70% 더 많은 PCIe® Gen5 레인을 지원하고, 보다 빠른 데이터 액세스를 위해 최대 5배 더 빠른 L3 캐시/코어[EPYC-043C]를 사용하며, 고급 3~4nm 기술을 사용하고, 보안 메모리 암호화 + 보안 암호 가상화 + SEV 암호화 상태 + SEV 보안 네스티드 페이징 보안 기능을 제공합니다. 자세한 내용은 AMD EPYC 아키텍처 백서(https://library.amd.com/l/3f4587d147382e2/)를 참조하세요.
- 9xx5-164: FAISS(시간당 실행) 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: v1.7.2, sift1m 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P 제온 6980P(총 코어 256개), 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias) 결과: 처리율 상대 2P 6980P 36.63 1 2P 9755 46.86 1.279 2P 9965 58.6 1.600 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-162: XGBoost(시간당 실행) 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v1.7.2, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1 2P 제온 6980P(총 코어 256개), 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias) 결과: CPU 처리율 상대 2P 6980P 400 1 2P 9755 436 1.090 2P 9965 771 1.928 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-156: Llama3.1-8B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. Llama3.1-8B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1 2P Xeon 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on Performance Bias), IPEX 2.6.0 결과: CPU 6980P 9755 9965 요약 1 n/a1.093 번역 1 1.062 1.334 에세이 1 n/A 1.14 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-158: GPT-J-6B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. GPT-J-6B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P AMD EPYC 9755(총 코어 256개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.12 2P 제온 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 결과: CPU 6980P 9755 9965 요약 1 1.034 1.279 챗봇 1 0.975 1.163 번역 1 1.021 0.93 에세이 1 0.978 1.108 캡션 1 0.913 1.12 전체 1 0.983 1.114 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-166: Llama3.2-1B 처리율 결과는 2025년 4월 8일 기준 AMD 내부 테스트에 기초합니다. Llama3.3-1B 구성: BF16, 배치 크기 32, 32C 인스턴스, 사용 사례 입력/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024]. 2P AMD EPYC 9965(총 코어 384개), 1.5TB 24x64GB DDR5-6400, 1.0Gbps NIC, 3.84 TB Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A(SMT=off, mitigations=on, Determinism=Power), NPS=1, ZenDNN 5.0.1, Python 3.10.2 2P 제온 6980P(총 코어 256개), AMX On, 1.5TB 24x64GB DDR5-8800 MRDIMM, 10GBASE-T용 1.0Gbps 이더넷 컨트롤러 X710, Micron_7450_MTFDKBG1T9TFR 2TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0(SMT=off, mitigations=on, Performance Bias), IPEX 2.6.0, Python 3.12.3 결과: CPU 6980P 9965 요약 1 1.213 번역 1 1.364 에세이 1 1.271 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다.
2P AMD EPYC 9965(총 384코어), 12개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755(총 256코어), 8개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654(총 192코어) 6개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power)
vs. 2P 제온 Platinum 8592+(총 128코어), 4개 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled)
결과:
CPU 중간값 상대 세대 간
Turin 192C, 12 Inst 6067.531 3.775 2.278
Turin 128C, 8 Inst 4091.85 2.546 1.536
Genoa 96C, 6 Inst 2663.14 1.657 1
EMR 64C, 4 Inst 1607.417 1 NA
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.