AMD ROCm™ 소프트웨어
AMD ROCm 소프트웨어로 GPU 가속 애플리케이션을 최적화하세요. 한 번의 코드로 어디서나 사용 가능한 접근 방식을 기반으로 구축되었습니다.
-
이미지 확대
AMD Instinct™ MI325X 가속기
AMD Instinct™ MI325X GPU 가속기는 새로운 AI 성능 표준을 설정하여 학습 및 추론을 위한 놀라운 성능과 효율성을 제공합니다.
스펙 비교
- AI 성능
- HPC 성능
- 메모리
AI 성능(피크 TFLOPs)
경쟁사 가속기 대비 최대 1.3배의 AI 성능1, 2
TF32
FP16/BF16(텐서/매트릭스)
FP8
H200 SXM 141GB
MI325X OAM 256GB
HPC 성능(피크 TFLOPs)
경쟁사 가속기 대비 최대 2.4배의 HPC 성능2
FP64(Vector)
FP64(텐서/매트릭스)
FP32(Vector)
H200 SXM 141GB
MI325X OAM 256GB
메모리 용량 및 대역폭
경쟁사 가속기 대비 1.8배의 메모리 용량 및 1.2배의 메모리 대역폭3
메모리 용량
메모리 대역폭
H200 SXM 141GB
MI325X OAM 256GB
각주
- MI325-002 - 2024년 5월 28일 AMD 퍼포먼스 랩에서 AMD Instinct™ MI325X GPU에 대해 수행한 계산 결과 1307.4TFLOPS 이론상 최대 반정도(FP16), 1307.4TFLOPS 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS 이론상 최대 8비트 정도(FP8), 2614.9TOPs INT8 부동 소수점 성능이 나타났습니다. 실제 성능은 최종 사양 및 시스템 구성에 따라 달라집니다.
Nvidia H200 SXM(141GB) GPU에 대해 게시된 결과: 989.4TFLOPS 이론상 최대 반정도 텐서(FP16 텐서), 989.4TFLOPS 이론상 최대 Bfloat16 텐서 포맷 정도(BF16 텐서), 1,978.9TFLOPS 이론상 최대 8비트 정도(FP8), 1,978.9TOPs 이론상 최대 INT8 부동 소수점 성능. Nvidia는 BFLOAT16 텐서 코어, FP16 텐서 코어, FP8 텐서 코어, INT8 텐서 코어 성능을 스파시티를 사용해 게시했습니다. AMD는 비교를 위해 이 숫자를 2로 나누어 비스파시티/밀도로 변환했으며 이러한 숫자는 상단에 나와 있습니다.
Nvidia H200 출처: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 및 https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
참고: Nvidia H200 GPU는 H100 제품과 동일한 FLOP 성능이 게시되었습니다(https://resources.nvidia.com/en-us-tensor-core/). MI325-02
- MI325-008 - 2024년 10월 2일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI325X(1000W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 163.4TFLOPS의 이론상 최대 배정도 매트릭스(FP64 매트릭스), 81.7TFLOPS의 이론상 최대 배정도(FP64), 163.4TFLOPS의 이론상 최대 단정도 매트릭스(FP32 매트릭스), 163.4TFLOPS의 이론상 최대 단정도(FP32), 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16)의 성능을 기록했습니다. 실제 성능은 최종 사양과 시스템 구성에 따라 달라질 수 있습니다.
Nvidia H200 SXM(141GB) GPU에 대해 게시된 결과: 66.9TFLOPS의 최대 이론상 배정도 텐서(FP64 텐서), 33.5TFLOPS의 최대 이론상 배정도(FP64), 66.9TFLOPS의 이론상 최대 단정도(FP32), 494.7TFLOPS의 최대 TensorFloat-32(TF32), 989.5TFLOPS의 이론상 최대 반정도 텐서(FP16 텐서). Nvidia는 TF32 텐서 코어 성능을 스파시티를 사용해 게시했습니다. AMD는 비교를 위해 이 숫자를 2로 나누어 비스파시티/밀도 값으로 변환했으며, 이 숫자는 상단에 나와 있습니다.
Nvidia H200 출처: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 및 https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
참고: Nvidia H200 GPU는 H100 제품과 동일한 FLOP 성능이 게시되었습니다(https://resources.nvidia.com/en-us-tensor-core/).
* Nvidia H200 GPU는 FP32 텐서를 지원하지 않습니다.
- MI325-001A - 2024년 9월 26일 현재 AMD 퍼포먼스 랩에서 현재 사양 및/또는 추정치를 기준으로 수행한 계산입니다. AMD Instinct™ MI325X OAM 가속기는 256GB HBM3E 메모리 용량과 6TB/s GPU의 이론상 최대 메모리 대역폭 성능을 제공합니다. 프로덕션 실리콘에 따라 실제 결과는 다를 수 있습니다.
Nvidia Hopper H200(141GB) SXM GPU 가속기에 대해 게시된 최고 결과는 141GB HBM3E 메모리 용량 및 4.8TB/s GPU 메모리 대역폭 성능입니다. https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446
Nvidia Blackwell HGX B100(192GB) 700W GPU 가속기에 대해 게시된 최고 결과는 192GB HBM3e 메모리 용량 및 8TB/s GPU 메모리 대역폭 성능입니다.
Nvidia Blackwell HGX B200(192GB) GPU 가속기에 대해 게시된 최고 결과는 192GB HBM3E 메모리 용량 및 8TB/s GPU 메모리 대역폭 성능입니다.
Nvidia Blackwell 사양은 다음 페이지에서 확인할 수 있습니다. https://resources.nvidia.com/en-us-blackwell-architecture?_gl=1*1r4pme7*_gcl_aw*R0NMLjE3MTM5NjQ3NTAuQ2p3S0NBancyNkt4QmhCREVpd0F1NktYdDlweXY1dlUtaHNKNmhPdHM4UVdPSlM3dFdQaE40WkI4THZBaWFVajFy
각주
- MI325-002 - 2024년 5월 28일 AMD 퍼포먼스 랩에서 AMD Instinct™ MI325X GPU에 대해 수행한 계산 결과 1307.4TFLOPS 이론상 최대 반정도(FP16), 1307.4TFLOPS 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS 이론상 최대 8비트 정도(FP8), 2614.9TOPs INT8 부동 소수점 성능이 나타났습니다. 실제 성능은 최종 사양 및 시스템 구성에 따라 달라집니다.
Nvidia H200 SXM(141GB) GPU에 대해 게시된 결과: 989.4TFLOPS 이론상 최대 반정도 텐서(FP16 텐서), 989.4TFLOPS 이론상 최대 Bfloat16 텐서 포맷 정도(BF16 텐서), 1,978.9TFLOPS 이론상 최대 8비트 정도(FP8), 1,978.9TOPs 이론상 최대 INT8 부동 소수점 성능. Nvidia는 BFLOAT16 텐서 코어, FP16 텐서 코어, FP8 텐서 코어, INT8 텐서 코어 성능을 스파시티를 사용해 게시했습니다. AMD는 비교를 위해 이 숫자를 2로 나누어 비스파시티/밀도로 변환했으며 이러한 숫자는 상단에 나와 있습니다.
Nvidia H200 출처: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 및 https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
참고: Nvidia H200 GPU는 H100 제품과 동일한 FLOP 성능이 게시되었습니다(https://resources.nvidia.com/en-us-tensor-core/). MI325-02 - MI325-008 - 2024년 10월 2일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI325X(1000W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 163.4TFLOPS의 이론상 최대 배정도 매트릭스(FP64 매트릭스), 81.7TFLOPS의 이론상 최대 배정도(FP64), 163.4TFLOPS의 이론상 최대 단정도 매트릭스(FP32 매트릭스), 163.4TFLOPS의 이론상 최대 단정도(FP32), 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16)의 성능을 기록했습니다. 실제 성능은 최종 사양과 시스템 구성에 따라 달라질 수 있습니다.
Nvidia H200 SXM(141GB) GPU에 대해 게시된 결과: 66.9TFLOPS의 최대 이론상 배정도 텐서(FP64 텐서), 33.5TFLOPS의 최대 이론상 배정도(FP64), 66.9TFLOPS의 이론상 최대 단정도(FP32), 494.7TFLOPS의 최대 TensorFloat-32(TF32), 989.5TFLOPS의 이론상 최대 반정도 텐서(FP16 텐서). Nvidia는 TF32 텐서 코어 성능을 스파시티를 사용해 게시했습니다. AMD는 비교를 위해 이 숫자를 2로 나누어 비스파시티/밀도 값으로 변환했으며, 이 숫자는 상단에 나와 있습니다.
Nvidia H200 출처: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 및 https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
참고: Nvidia H200 GPU는 H100 제품과 동일한 FLOP 성능이 게시되었습니다(https://resources.nvidia.com/en-us-tensor-core/).
* Nvidia H200 GPU는 FP32 텐서를 지원하지 않습니다. - MI325-001A - 2024년 9월 26일 현재 AMD 퍼포먼스 랩에서 현재 사양 및/또는 추정치를 기준으로 수행한 계산입니다. AMD Instinct™ MI325X OAM 가속기는 256GB HBM3E 메모리 용량과 6TB/s GPU의 이론상 최대 메모리 대역폭 성능을 제공합니다. 프로덕션 실리콘에 따라 실제 결과는 다를 수 있습니다.
Nvidia Hopper H200(141GB) SXM GPU 가속기에 대해 게시된 최고 결과는 141GB HBM3E 메모리 용량 및 4.8TB/s GPU 메모리 대역폭 성능입니다. https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446
Nvidia Blackwell HGX B100(192GB) 700W GPU 가속기에 대해 게시된 최고 결과는 192GB HBM3e 메모리 용량 및 8TB/s GPU 메모리 대역폭 성능입니다.
Nvidia Blackwell HGX B200(192GB) GPU 가속기에 대해 게시된 최고 결과는 192GB HBM3E 메모리 용량 및 8TB/s GPU 메모리 대역폭 성능입니다.
Nvidia Blackwell 사양은 다음 페이지에서 확인할 수 있습니다. https://resources.nvidia.com/en-us-blackwell-architecture?_gl=1*1r4pme7*_gcl_aw*R0NMLjE3MTM5NjQ3NTAuQ2p3S0NBancyNkt4QmhCREVpd0F1NktYdDlweXY1dlUtaHNKNmhPdHM4UVdPSlM3dFdQaE40WkI4THZBaWFVajFy
특정 AMD 기술을 사용하려면 타사 활성화 또는 활성화가 필요할 수 있습니다. 지원되는 기능은 운영 체제에 따라 다를 수 있습니다. 특정 기능에 대해서는 시스템 제조업체에 문의하십시오. 어떤 기술이나 제품도 완전히 안전할 수는 없습니다.