AI 및 ML
데이터베이스
에너지 효율성
HPC
기타 워크로드


5세대 AMD EPYC™ 프로세서
AI를 지원하는 비즈니스 크리티컬 데이터 센터 워크로드 향상
리소스

연결 상태를 유지하세요
등록하여 최신 데이터 센터 소식을 받아보거나 AMD 영업 담당자와 상담하세요.
각주
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(총 384코어), 12개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), 2P AMD EPYC 9755(총 256코어), 8개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), 2P AMD EPYC 9654(총 192코어) 6개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power) vs. 2P 제온 Platinum 8592+(총 128코어), 4개의 32C 인스턴스, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled). 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-009: Llama3.1-8B 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. Llama3-8B 구성: IPEX.LLM 2.4.0, NPS=2, BF16, 배치 크기 4, 사용 사례 입/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024, 캡션 = 16/16].
2P AMD EPYC 9965(총 384코어), 6개의 64C 인스턴스 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 ; 2P AMD EPYC 9755(총 256코어), 4개의 64C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 ; 2P AMD EPYC 9654(총 192코어) 4개의 48C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic(tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 vs. 2P 제온 Platinum 8592+(총 128코어), 2개의 64C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled).
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-011: FAISS(시간당 요청) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: sift1m 데이터 세트, 16코어 인스턴스, FP32, MKL 2024.2.1 2P AMD EPYC 9965(총 384코어), 24개의 16C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=4 2P AMD EPYC 9654(총 192코어) 12개의 16C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power), NPS=4 vs. 2P 제온 Platinum 8592+(총 128코어), 8개의 16C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 중앙값 상대 처리율 세대 간 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인으로 인해 달라질 수 있습니다.
- 9xx5-056: Llama3.1-70B 추론 처리율 결과는 2024년 9월 24일 기준 AMD 내부 테스트에 기초합니다. Llama3.1-70B 구성: vLLM 0.8.0, TP8 병렬, FP8, 입/출력 토큰 구성(사용 사례): [128/128,128/2048, 2048/128, 2048/2048], 2000 프롬프트에서 연속 배치. 결과는 초당 토큰 수입니다. 2P AMD EPYC 9575F(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750W 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2304GB 24x96GB DDR5-6000, BIOS 1.0(power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic 2P 인텔 제온 Platinum 8592+(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2048GB 32x64GB DDR5-4400, BIOS 2.0.4, (power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic 입력/출력 토큰 MI300X Turin MI300X Emerald Rapids Turin vs. EMR 128/128 7739.32 7146.66 1.083 128/2048 9549.54 8536.45 1.119 2048/128 1399.82 1379.97 1.014 2048/2048 6330.81 5810.51 1.09 평균 처리율 1.076배 증가. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- 9xx5-059A: Stable Diffusion XL v2 교육 결과는 2024년 10월 10일 기준 AMD 내부 테스트를 기반으로 합니다.
SDXL 구성: DeepSpeed 0.14.0, TP8 병렬, FP8, 배치 크기 24, 결과(초)
2P AMD EPYC 9575F(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750W 8개, GPU Interconnectivity XGMI, ROCm™ 6.2.0-66, 2304GB 24x96GB DDR5-6000, BIOS 1.0(power determinism = off), Ubuntu® 22.04.4 LTS, 커널 5.15.0-72-generic, 334.80초
2P 인텔 제온 Platinum 8592+(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2048GB 32x64GB DDR5-4400, BIOS 2.0.4, (power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic, 400.43초
교육 성과 19.600% 향상.
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- 9xx5-005A: MySQL TPROC-C 워크로드(SQL Server OLTP Brokerage) 추정치는 2024년 9월 15일 기준 내부 AMD 측정을 기준으로 합니다. HammerDB TPROC-C 워크로드는 TPC-Benchmark™ Standard에서 파생된 오픈 소스 워크로드이므로 결과가 TPC-C 벤치마크 표준을 준수하지 않기 때문에 공개된 TPC-C TM 결과와 비교할 수 없습니다. 워크로드 구성: MySQL 8.0.39, 8코어 노드(멀티 SUT), HammerDB-4.4, 지속 시간 5분, 32v 사용자, 웨어하우스 128, 분당 총 신규 주문 수(NOPM) 2P AMD EPYC 9965 기반 서버(총 384코어), 2.35TB 메모리, BIOS RVC100DB, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 10x3.84TB 스토리지. VM 구성: 8코어/VM, 48개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro 2P AMD EPYC 9755 기반 서버(총 256코어), 2.35TB 메모리, BIOS RVOT1000C, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 32개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro 2P AMD EPYC 9654 전원 서버(총 192코어), 1.5TB 메모리, BIOS TVC100BD_2, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 24개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro spec_rstack_overflow=off 2P 인텔 제온 8592+ 전원 서버(총 128코어), 1TB 메모리, BIOS ESE124B, OS VMware ESXi 8.0.3 빌드 24022510, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 16개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro spec_rstack_overflow=off CPU 점수(TPM) Relative_8592+ Relative_9654 인텔 8592+(64c) 9431248 1 0.523 AMD EPYC 9654(96c) 18037794 1.913 1 AMD EPYC 9755(128c) 32598005 3.456 1.807 AMD EPYC 9965(192c) 36863796 3.909 2.043 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정을 포함하되 이에 국한되지 않는 요인에 따라 달라질 수 있습니다. TPC, TPC Benchmark 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-068: TPC Benchmark™ H @ 3000GB SF 비교는 2024년 10월 10일 기준, tpc.org에 게시된 점수에 기초했습니다. 구성: 2P EPYC 9575F(3,401,383.1 QphH@3000GB, 2024년 10월 10일 기준 이용 가능, 총 128코어, www.tpc.org/3395)는 2P AMD EPYC 9554(2,405,162 QphH@3000GB, 2024년 10월 1일 기준 이용 가능, 총 128코어, www.tpc.org/3385) 대비 QphH 성능이 1.41배 향상되었습니다. TPC, TPC Benchmark 및 TPC-H는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-061: SPECpower_ssj® 2008 비교는 2024년 10월 10일 기준 spec.org에 게시된 결과에 기초했습니다. 2P EPYC 9965(35275 전체 ssj_ops/w, 2U), 총 384코어, https://spec.org/power_ssj2008/results/res2022q4/power_ssj2008-20240923-01441.html2P EPYC 9654(30602 전체 ssj_ops/w, 2U), 총 192코어, https://spec.org/power_ssj2008/results/res2022q4/power_ssj2008-20221204-01204.html vs. 2P 인텔 제온 Platinum 8592+(20408 35275 전체 ssj_ops/w, 2U), 총 128코어, https://spec.org/power_ssj2008/results/res2024q2/power_ssj2008-20240422-01401.html. SPEC® 및 SPECpower_ssj® 2008은 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요.
- 9xx5-023: 출처: https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/performance-briefs/amd-epyc-9005-pb-namd.pdf
- 9xx5-035A: AMD 테스트는 2024년 10월 3일 기준입니다. 자세한 결과는 2P 64코어 AMD EPYC™ 9575F 기반 시스템에 대한 이 벤치마크의 성능 지표(경과 시간)의 평균 증가량을 Ansys LS-DYNA에서 일부 테스트를 실행하는 2P 64코어 인텔® 제온® PLATINUM 8592+ 기반 시스템과 비교하여 보여줍니다. 64코어 인텔® 제온® PLATINUM 8592+로 정규화된 성능 지표 기준 개선 사항은 각 벤치마크에 대해 다음과 같습니다.* Neon: ~1.68x* Car2Car: ~1.72x* 3 Cars: ~1.49x* ODB 10m: ~1.63xSystem ConfigurationsCPU: 2P 64코어 인텔® 제온® PLATINUM 8592+(총 128코어) 메모리: 16x 64GB DDR5-5600 스토리지: KIOXIA KCMYXRUG3T84 플랫폼 및 BIOS: ESE122V-3.10BIOS 옵션: SMT=Off High Performance Mode OS: rhel 9.4 5.14.0-427.16.1.el9_4.x86_64 커널 옵션: processor.max_cstate=1 intel_idle.max_cstate=0 iommu=pt mitigations=off 런타임 옵션: cpupower frequency-set -g performance echo 3 > /proc/sys/vm/drop_caches echo 0 > /proc/sys/kernel/nmi_watchdog echo 0 > /proc/sys/kernel/numa_balancing echo 0 > /proc/sys/kernel/randomize_va_space echo 'always' > /sys/kernel/mm/transparent_hugepage/enabled echo 'always' > /sys/kernel/mm/transparent_hugepage/defragCPU: 2P 64코어 AMD EPYC™ 9575F(총 128코어) 메모리: 24x 64GB DDR5-6000 스토리지: Samsung MZWLO3T8HCLS-00A07 플랫폼 및 BIOS: 없음 RVOT1000CBIOS 옵션: SMT=Off NPS=4 Power Determinism Mode OS: rhel 9.4 5.14.0-427.16.1.el9_4.x86_64 커널 옵션: amd_iommu=on iommu=pt mitigations=off 런타임 옵션: cpupower idle-set -d 2 cpupower frequency-set -g performance echo 3 > /proc/sys/vm/drop_caches echo 0 > /proc/sys/kernel/nmi_watchdog echo 0 > /proc/sys/kernel/numa_balancing echo 0 > /proc/sys/kernel/randomize_va_space echo 'always' > /sys/kernel/mm/transparent_hugepage/enabled echo 'always' > /sys/kernel/mm/transparent_hugepage/defrag 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정에 따라 달라질 수 있습니다. ANSYS, LS-DYNA 및 모든 ANSYS, Inc.의 브랜드, 제품, 서비스 및 기능 이름, 로고 및 슬로건은 미국 또는 기타 국가에서 ANSYS, Inc. 또는 그 자회사의 등록 상표 또는 상표입니다. LS-DYNA는 Livermore Software Technology Corporation의 등록 상표입니다.
- 9XX5-007 : V-Ray는 2024년 9월 1일 기준 AMD 내부 테스트를 기반으로 합니다. 시스템 구성: 2P AMD EPYC™ 9965 참조 시스템(2 x 192c) 1.5TB 24x64GB DDR5-6400 6000MT/s 속도로 실행, BIOS RVOT1000C(determinism enable=power), 476GB NVMe, Ubuntu 22.04.4 LTS, Kernel Linux 6.8.0-40-generic, 329,847.67 평균 vsamples2P AMD EPYC™ 9654 시스템(2 x 96C, 1.5TB 24x64GB DDR5-4800, BIOS TTI100BA(determinism enable=power), SAMSUNG MO003200KYDNC, Ubuntu 22.04.4 LTS, Kernel Linux 6.8.0-40-generic, 204,200.00 평균 vsamples2P 인텔 제온 Platinum 8592+ 시스템(2 x 64C, 1TB 16x64GB DDR5-5600, BIOS ESE124B-3.11, 3.2 TB NVME, Ubuntu 22.04.3 LTS, Kernel Linux 6.5.0-35-generic), 144,452.67 평균 vsamples EPYC 9965와 제온 Platinum 8592+ 시스템 비교 시 약 2.3배의 성능 달성 EPYC 9654를 제온 Platinum 8592+ 시스템과 비교 시 1.4배의 성능 달성 Chaos®, V-Ray® 및 Phoenix FD®는 불가리아 및/또는 기타 국가에서 Chaos Software EOOD의 등록 상표입니다.
각주
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(총 384코어), 12개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), 2P AMD EPYC 9755(총 256코어), 8개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), 2P AMD EPYC 9654(총 192코어) 6개의 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power) vs. 2P 제온 Platinum 8592+(총 128코어), 4개의 32C 인스턴스, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled). 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-009: Llama3.1-8B 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. Llama3-8B 구성: IPEX.LLM 2.4.0, NPS=2, BF16, 배치 크기 4, 사용 사례 입/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024, 캡션 = 16/16].
2P AMD EPYC 9965(총 384코어), 6개의 64C 인스턴스 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 ; 2P AMD EPYC 9755(총 256코어), 4개의 64C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 ; 2P AMD EPYC 9654(총 192코어) 4개의 48C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic(tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 vs. 2P 제온 Platinum 8592+(총 128코어), 2개의 64C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled).
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. - 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-011: FAISS(시간당 요청) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: sift1m 데이터 세트, 16코어 인스턴스, FP32, MKL 2024.2.1 2P AMD EPYC 9965(총 384코어), 24개의 16C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=4 2P AMD EPYC 9654(총 192코어) 12개의 16C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power), NPS=4 vs. 2P 제온 Platinum 8592+(총 128코어), 8개의 16C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 중앙값 상대 처리율 세대 간 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인으로 인해 달라질 수 있습니다.
- 9xx5-056: Llama3.1-70B 추론 처리율 결과는 2024년 9월 24일 기준 AMD 내부 테스트에 기초합니다. Llama3.1-70B 구성: vLLM 0.8.0, TP8 병렬, FP8, 입/출력 토큰 구성(사용 사례): [128/128,128/2048, 2048/128, 2048/2048], 2000 프롬프트에서 연속 배치. 결과는 초당 토큰 수입니다. 2P AMD EPYC 9575F(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750W 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2304GB 24x96GB DDR5-6000, BIOS 1.0(power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic 2P 인텔 제온 Platinum 8592+(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2048GB 32x64GB DDR5-4400, BIOS 2.0.4, (power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic 입력/출력 토큰 MI300X Turin MI300X Emerald Rapids Turin vs. EMR 128/128 7739.32 7146.66 1.083 128/2048 9549.54 8536.45 1.119 2048/128 1399.82 1379.97 1.014 2048/2048 6330.81 5810.51 1.09 평균 처리율 1.076배 증가. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- 9xx5-059A: Stable Diffusion XL v2 교육 결과는 2024년 10월 10일 기준 AMD 내부 테스트를 기반으로 합니다.
SDXL 구성: DeepSpeed 0.14.0, TP8 병렬, FP8, 배치 크기 24, 결과(초)
2P AMD EPYC 9575F(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750W 8개, GPU Interconnectivity XGMI, ROCm™ 6.2.0-66, 2304GB 24x96GB DDR5-6000, BIOS 1.0(power determinism = off), Ubuntu® 22.04.4 LTS, 커널 5.15.0-72-generic, 334.80초
2P 인텔 제온 Platinum 8592+(총 128코어), AMD Instinct MI300X-NPS1-SPX-192GB-750 8개, GPU Interconnectivity XGMI, ROCm 6.2.0-66, 2048GB 32x64GB DDR5-4400, BIOS 2.0.4, (power determinism = off), Ubuntu 22.04.4 LTS, 커널 5.15.0-72-generic, 400.43초
교육 성과 19.600% 향상.
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. - 9xx5-005A: MySQL TPROC-C 워크로드(SQL Server OLTP Brokerage) 추정치는 2024년 9월 15일 기준 내부 AMD 측정을 기준으로 합니다. HammerDB TPROC-C 워크로드는 TPC-Benchmark™ Standard에서 파생된 오픈 소스 워크로드이므로 결과가 TPC-C 벤치마크 표준을 준수하지 않기 때문에 공개된 TPC-C TM 결과와 비교할 수 없습니다. 워크로드 구성: MySQL 8.0.39, 8코어 노드(멀티 SUT), HammerDB-4.4, 지속 시간 5분, 32v 사용자, 웨어하우스 128, 분당 총 신규 주문 수(NOPM) 2P AMD EPYC 9965 기반 서버(총 384코어), 2.35TB 메모리, BIOS RVC100DB, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 10x3.84TB 스토리지. VM 구성: 8코어/VM, 48개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro 2P AMD EPYC 9755 기반 서버(총 256코어), 2.35TB 메모리, BIOS RVOT1000C, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 32개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro 2P AMD EPYC 9654 전원 서버(총 192코어), 1.5TB 메모리, BIOS TVC100BD_2, OS VMware ESXi 8.0.3 빌드 70965425, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 24개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic, BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro spec_rstack_overflow=off 2P 인텔 제온 8592+ 전원 서버(총 128코어), 1TB 메모리, BIOS ESE124B, OS VMware ESXi 8.0.3 빌드 24022510, 1x1.6TB 및 8x3.84TB 스토리지. VM 구성: 8코어/VM, 16개 VM, 48GB 메모리, Ubuntu 22.04.4 LTS, Linux 5.15.0-119-generic BOOT_IMAGE=/vmlinuz-5.15.0-119-generic root=/dev/mapper/ubuntu--vg-ubuntu--lv ro spec_rstack_overflow=off CPU 점수(TPM) Relative_8592+ Relative_9654 인텔 8592+(64c) 9431248 1 0.523 AMD EPYC 9654(96c) 18037794 1.913 1 AMD EPYC 9755(128c) 32598005 3.456 1.807 AMD EPYC 9965(192c) 36863796 3.909 2.043 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정을 포함하되 이에 국한되지 않는 요인에 따라 달라질 수 있습니다. TPC, TPC Benchmark 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-068: TPC Benchmark™ H @ 3000GB SF 비교는 2024년 10월 10일 기준, tpc.org에 게시된 점수에 기초했습니다. 구성: 2P EPYC 9575F(3,401,383.1 QphH@3000GB, 2024년 10월 10일 기준 이용 가능, 총 128코어, www.tpc.org/3395)는 2P AMD EPYC 9554(2,405,162 QphH@3000GB, 2024년 10월 1일 기준 이용 가능, 총 128코어, www.tpc.org/3385) 대비 QphH 성능이 1.41배 향상되었습니다. TPC, TPC Benchmark 및 TPC-H는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-061: SPECpower_ssj® 2008 비교는 2024년 10월 10일 기준 spec.org에 게시된 결과에 기초했습니다. 2P EPYC 9965(35275 전체 ssj_ops/w, 2U), 총 384코어, https://spec.org/power_ssj2008/results/res2022q4/power_ssj2008-20240923-01441.html2P EPYC 9654(30602 전체 ssj_ops/w, 2U), 총 192코어, https://spec.org/power_ssj2008/results/res2022q4/power_ssj2008-20221204-01204.html vs. 2P 인텔 제온 Platinum 8592+(20408 35275 전체 ssj_ops/w, 2U), 총 128코어, https://spec.org/power_ssj2008/results/res2024q2/power_ssj2008-20240422-01401.html. SPEC® 및 SPECpower_ssj® 2008은 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요.
- 9xx5-023: 출처: https://www.amd.com/content/dam/amd/en/documents/epyc-technical-docs/performance-briefs/amd-epyc-9005-pb-namd.pdf
- 9xx5-035A: AMD 테스트는 2024년 10월 3일 기준입니다. 자세한 결과는 2P 64코어 AMD EPYC™ 9575F 기반 시스템에 대한 이 벤치마크의 성능 지표(경과 시간)의 평균 증가량을 Ansys LS-DYNA에서 일부 테스트를 실행하는 2P 64코어 인텔® 제온® PLATINUM 8592+ 기반 시스템과 비교하여 보여줍니다. 64코어 인텔® 제온® PLATINUM 8592+로 정규화된 성능 지표 기준 개선 사항은 각 벤치마크에 대해 다음과 같습니다.* Neon: ~1.68x* Car2Car: ~1.72x* 3 Cars: ~1.49x* ODB 10m: ~1.63xSystem ConfigurationsCPU: 2P 64코어 인텔® 제온® PLATINUM 8592+(총 128코어) 메모리: 16x 64GB DDR5-5600 스토리지: KIOXIA KCMYXRUG3T84 플랫폼 및 BIOS: ESE122V-3.10BIOS 옵션: SMT=Off High Performance Mode OS: rhel 9.4 5.14.0-427.16.1.el9_4.x86_64 커널 옵션: processor.max_cstate=1 intel_idle.max_cstate=0 iommu=pt mitigations=off 런타임 옵션: cpupower frequency-set -g performance echo 3 > /proc/sys/vm/drop_caches echo 0 > /proc/sys/kernel/nmi_watchdog echo 0 > /proc/sys/kernel/numa_balancing echo 0 > /proc/sys/kernel/randomize_va_space echo 'always' > /sys/kernel/mm/transparent_hugepage/enabled echo 'always' > /sys/kernel/mm/transparent_hugepage/defragCPU: 2P 64코어 AMD EPYC™ 9575F(총 128코어) 메모리: 24x 64GB DDR5-6000 스토리지: Samsung MZWLO3T8HCLS-00A07 플랫폼 및 BIOS: 없음 RVOT1000CBIOS 옵션: SMT=Off NPS=4 Power Determinism Mode OS: rhel 9.4 5.14.0-427.16.1.el9_4.x86_64 커널 옵션: amd_iommu=on iommu=pt mitigations=off 런타임 옵션: cpupower idle-set -d 2 cpupower frequency-set -g performance echo 3 > /proc/sys/vm/drop_caches echo 0 > /proc/sys/kernel/nmi_watchdog echo 0 > /proc/sys/kernel/numa_balancing echo 0 > /proc/sys/kernel/randomize_va_space echo 'always' > /sys/kernel/mm/transparent_hugepage/enabled echo 'always' > /sys/kernel/mm/transparent_hugepage/defrag 결과는 시스템 구성, 소프트웨어 버전, BIOS 설정에 따라 달라질 수 있습니다. ANSYS, LS-DYNA 및 모든 ANSYS, Inc.의 브랜드, 제품, 서비스 및 기능 이름, 로고 및 슬로건은 미국 또는 기타 국가에서 ANSYS, Inc. 또는 그 자회사의 등록 상표 또는 상표입니다. LS-DYNA는 Livermore Software Technology Corporation의 등록 상표입니다.
- 9XX5-007 : V-Ray는 2024년 9월 1일 기준 AMD 내부 테스트를 기반으로 합니다. 시스템 구성: 2P AMD EPYC™ 9965 참조 시스템(2 x 192c) 1.5TB 24x64GB DDR5-6400 6000MT/s 속도로 실행, BIOS RVOT1000C(determinism enable=power), 476GB NVMe, Ubuntu 22.04.4 LTS, Kernel Linux 6.8.0-40-generic, 329,847.67 평균 vsamples2P AMD EPYC™ 9654 시스템(2 x 96C, 1.5TB 24x64GB DDR5-4800, BIOS TTI100BA(determinism enable=power), SAMSUNG MO003200KYDNC, Ubuntu 22.04.4 LTS, Kernel Linux 6.8.0-40-generic, 204,200.00 평균 vsamples2P 인텔 제온 Platinum 8592+ 시스템(2 x 64C, 1TB 16x64GB DDR5-5600, BIOS ESE124B-3.11, 3.2 TB NVME, Ubuntu 22.04.3 LTS, Kernel Linux 6.5.0-35-generic), 144,452.67 평균 vsamples EPYC 9965와 제온 Platinum 8592+ 시스템 비교 시 약 2.3배의 성능 달성 EPYC 9654를 제온 Platinum 8592+ 시스템과 비교 시 1.4배의 성능 달성 Chaos®, V-Ray® 및 Phoenix FD®는 불가리아 및/또는 기타 국가에서 Chaos Software EOOD의 등록 상표입니다.