모든 AI 워크로드에 적합한 기술로 비즈니스 성공 달성
AI 혁신의 속도와 긴급성이 가속화됨에 따라 Supermicro와 AMD는 미래를 앞서 나가기 위해 협력합니다. AMD EPYC™ 프로세서 및 AMD Instinct™ 가속기가 탑재된 Supermicro 랙 지원 서버를 구축하여 현재와 미래의 대규모 AI 워크로드를 위한 성능, 비용 효율성, 확장성을 실현하세요.
GPU 가속화로 AI 문제 해결
Supermicro와 AMD는 협력을 통해 AI 수명 주기에 필요한 개방적이고 강력한 에코시스템과 획기적인 파워를 제공하며 이 모든 것을 고객의 고유한 요구를 충족하는 업계 최고 성능과 효율성으로 실현합니다.
AMD EPYC 프로세서는 데이터 근접성이 중요한 소규모 AI 모델 및 워크로드에 사용할 수 있으며, AMD Instinct 가속기는 대규모 모델 및 고성능을 요구하는 전용 AI 배포에 적합합니다. AMD Instinct 플랫폼은 BLOOM 176B와 같은 LLM에서 추론을 실행할 경우 Nvidia H100 HGX 대비 최대 1.6배 높은 처리량을 제공할 수 있습니다.1
AI를 위한 손쉬운 진화
AMD Instinct M1300X 기반의 Supermicro H13 서버가 어떻게 대규모 AI 모델의 배포를 간소화하는지 알아보세요.
CPU/GPU 통합으로 성능 향상
AMD Instinct M1300A APU 기반의 Supermicro H13 시스템이 AMD Instinct 가속기와 AMD EPYC 프로세서의 성능을 공유 메모리와 결합하여 어떻게 AI 이니셔티브를 강화하는지 알아보세요.
참고: 화이트 박스 시스템에 대한 테스트 결과. Supermicro 제품/플랫폼 정보는www.supermicro.com/aplus를 참조하세요.
AI 현대화 및 공간 확보
IT 예산을 최대한 활용하기 위해 많은 데이터 센터는 이미 가용 공간, 전력 또는 이 두 가지 모두를 한계치까지 사용하고 있습니다. AMD EPYC 프로세서가 장착된 Supermicro 서버는 핵심 워크로드를 통합할 수 있는 선도적인 성능과 효율성을 제공하여 새로운 비즈니스 필수 AI 워크로드를 지원할 수 있는 공간, 전력, 쿨링을 확보합니다.
100대의 기존 2P 인텔® 제온® Platinum 8280 CPU 기반 서버를 14대의 새로운 AMD EPYC™ 9965 CPU 기반 서버로 교체2
최대 87% 더 적은 서버
최대 71% 더 적은 전력
최대 67% 더 적은 3년간 TCO
비용 및 TCO 절감, AMD EPYC 9965 CPU 기반 서버와 인텔® 제온® Platinum 8592+ CPU 서버 비교2
최대 63% 더 적은 서버
최대 45% 더 적은 전력
최대 44% 더 적은 3년간 TCO
참고: 화이트 박스 시스템에 대한 테스트 결과. Supermicro 제품/플랫폼 정보는www.supermicro.com/aplus를 참조하세요.
지금 현대화해야 하는 이유 IDC의 관점
AI가 고도로 구성된 서버에 대한 수요를 이끄는 방법과 IDC가 현재 최신 기술 스택을 도입하는 것이 필수적이라고 생각하는 이유를 알아보세요.
AMD와 Supermicro, 무거운 추론 작업을 가볍게 만들다
AMD EPYC 프로세서 기반의 Supermicro H14 서버의 평가판을 요청하여 AI 워크로드를 테스트하고 직접 경험해보세요.
고객 스토리
리소스
뉴스레터 및 연락 요청하기
AMD 데이터 센터 동향 구독하기
AMD EPYC™ 및 Supermicro 영업 전문가의 연락 요청하기
각주
- MI300-34: 입력 시퀀스 길이가 1,948개 토큰이고 출력 시퀀스 길이가 100개 토큰인 Bloom-176b 모델과 DeepSpeed Inference를 사용한 토큰 생성 처리율과 2023년 11월 17일 기준 각 시스템에 대한 커스텀 도커 컨테이너를 사용한 AMD 내부 테스트를 기반으로 각 시스템 비교에서 가장 높은 처리율을 제공하도록 조정된 배치 크기입니다.
구성:
AMD Instinct™ MI300X 192GB 750W GPU 8개, ROCm™ 6.0의 사전 공개 빌드, Ubuntu 22.04.2가 탑재된 2P 인텔 제온 Platinum 8480C CPU 기반 서버.
vs
인텔 제온 Platinum 8480CL 프로세서 2개, Nvidia H100 80GB, 700W GPU 8개, CUDA 12.0, Ubuntu 22.04.3이 탑재된 Nvidia DGX H100.
이 테스트에서는 각 시스템에 8개의 GPU가 사용되었습니다.
서버 제조업체별 구성에 따라 다른 결과가 나올 수 있습니다. 최신 드라이버의 사용 여부 및 최적화에 따라 성능이 달라질 수 있습니다.
- 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 이 데이터를 활용한 환경 영향 추정치를 산출했습니다.
- MI300-34: 입력 시퀀스 길이가 1,948개 토큰이고 출력 시퀀스 길이가 100개 토큰인 Bloom-176b 모델과 DeepSpeed Inference를 사용한 토큰 생성 처리율과 2023년 11월 17일 기준 각 시스템에 대한 커스텀 도커 컨테이너를 사용한 AMD 내부 테스트를 기반으로 각 시스템 비교에서 가장 높은 처리율을 제공하도록 조정된 배치 크기입니다.
구성:
AMD Instinct™ MI300X 192GB 750W GPU 8개, ROCm™ 6.0의 사전 공개 빌드, Ubuntu 22.04.2가 탑재된 2P 인텔 제온 Platinum 8480C CPU 기반 서버.
vs
인텔 제온 Platinum 8480CL 프로세서 2개, Nvidia H100 80GB, 700W GPU 8개, CUDA 12.0, Ubuntu 22.04.3이 탑재된 Nvidia DGX H100.
이 테스트에서는 각 시스템에 8개의 GPU가 사용되었습니다.
서버 제조업체별 구성에 따라 다른 결과가 나올 수 있습니다. 최신 드라이버의 사용 여부 및 최적화에 따라 성능이 달라질 수 있습니다. - 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 이 데이터를 활용한 환경 영향 추정치를 산출했습니다.