AMD Primus
대규모 AI 모델 학습 - 복잡성 제거
Primus는 학습 설정, 최적화된 트랜스포머, 프로덕션 작업을 하나의 모듈식 경험으로 구현합니다. 재현 가능한 워크플로, 커널 가속화, 클러스터 검증, 모니터링을 적용하여 최초 실행부터 대규모 학습까지 빠르게 전환합니다.
Primus로 할 수 있는 일:
분산된 직무를 모니터링하여 문제를 더 빠르게 디버깅
재현 가능한 학습 실험을 단일 CLI로 실행
최적화된 오퍼레이터를 이용한 트랜스포머 워크로드 가속화
대규모 학습 실행 전 클러스터 검증
주요 구성 요소
Primus 플랫폼
Primus는 모듈식 구성 요소를 제공하여 실험 설정부터 클러스터 규모 작업에 이르는 전체 학습 수명주기를 지원합니다.
- 검증 및 관찰
- 프로덕션 사전 학습
- 프로덕션 규모 RL
신뢰성 도구
검증 및 관찰
학습 구성을 계획하고, 클러스터 준비 상태를 검증하며, 대규모 학습 실행을 모니터링합니다.
적합한 학습 구성 찾기
Primus Tuning + Primus Projection
- GPU 메모리 예산에 맞는 학습 설정을 찾습니다.
- GPU 메모리 사용 및 학습 처리율을 예상합니다.
- 전체 클러스터 실행 전에 가능한 구성을 확인합니다.
실행 전 클러스터 검증
Primus-Bench + Primus Preflight
- 클러스터 하드웨어 및 네트워크 상태를 점검합니다.
- 성능을 벤치마크하고 이상치를 보이는 노드를 표시합니다.
- 전체 클러스터 실행 전에 학습 실행을 테스트합니다.
실시간 실행에서 병목 현상 감지
Primus-Lens
- 학습 작업 및 클러스터 상태를 모니터링합니다.
- 분산된 실행을 대시보드에서 조회합니다.
- 알림을 사용하여 성능 문제를 감지합니다.
Primus Core
프로덕션 사전 학습
최적화된 오퍼레이터와 탄력적인 클러스터 운영으로 대규모 모델 학습을 지원합니다.
대규모 모델 학습을 더 빠르게 실행
Primus-LM
- 하나의 CLI에서 대규모 모델 학습을 실행합니다.
- YAML 및 학습 레시피로 실험을 설정합니다.
- Megatron-LM, PyTorch TorchTitan 또는 JAX MaxText를 사용합니다.
워크로드 성능 향상
Primus-Turbo
- 최적화된 오퍼레이터로 트랜스포머 학습 처리율을 개선합니다.
- 컴퓨팅과 통신을 중첩하여 GPU 사용률을 개선합니다.
- 사용자 지정 학습 워크플로와 통합합니다.
안정적인 클러스터 규모 실행
Primus-SaFE
- 토폴로지 인식 배치를 통해 작업을 예약합니다.
- 학습 전에 클러스터 준비 상태를 점검합니다.
- 실패한 작업을 재시도하고 체크포인트에서 학습을 재개합니다.
RL 사후 학습
프로덕션 규모 RL
바로 실행할 수 있는 검증된 AMD ROCm™ 워크플로를 통해 AMD Instinct™ GPU에서 RL 사후 학습을 확장합니다.
바로 실행할 수 있는 스택을 통해 RL 사후 학습 시작
ROCm의 veRL
- 소프트웨어 종속성이 검증된 사전 구축된 컨테이너에서 시작합니다.
- PPO, GRPO, DAPO 사후 학습 워크플로를 실행합니다.
- 사용자 환경에 맞게 소프트웨어 버전 및 GPU 타깃을 사용자 지정합니다.
롤아웃과 학습 규모를 독립적으로 조정
vLLM 및 SGLang 롤아웃
- 롤아웃에 AITER 가속 vLLM 또는 SGLang을 선택합니다.
- 완전 비동기 모드에서 롤아웃용 GPU 풀과 학습용 GPU 풀의 규모를 독립적으로 조정합니다.
- 생성과 학습을 중첩하여 긴 응답을 생성할 때 발생하는 대기 시간을 줄입니다.
학습 모드 전반에 걸쳐 모델 품질 검증
정확성 및 수렴도
- 밀집형 및 MoE 추론 모델에 검증된 예제를 사용합니다.
- GPU를 공유하는 실행 방식과 완전 비동기 실행 방식의 수렴도를 비교합니다.
- 검증 정확도, 학습 보상, 롤아웃과 학습 간 일관성을 추적합니다.
성능 벤치마크
Primus 벤치마크는 고객이 어떻게 AMD Instinct™ GPU 기능을 빠른 모델 개발로 전환하여, 단일 노드에서 다중 노드 클러스터로 확장하면서 GPU 활용도를 극대화하고, 학습 시간을 단축하고, 다양한 모델 아키텍처 전반에 걸쳐 학습 효율을 개선할 수 있는지를 보여줍니다.
ROCm 10 및 ROCm 7 비교
학습 개선 가속화
DeepSeek-V3-16B
DeepSeek-V2-Lite
Qwen3-30B-A3B
릴리스 간: 성능 개선
2.01배
2.54배
2.76배
평균
2.4배
더 빠름 - 모델 전반에 걸쳐 이전 릴리스 대비
병렬화 및 스케줄링
파이프라인 병렬 처리, 샤딩된 데이터 병렬화, 그래디언트 올리듀스 오버랩
메모리 관리
활성화 체크포인팅, FP8 혼합 정밀도, 융합 그레이디언트 누적
최적화된 커널
융합 FlashAttention(순전파+ 역전파), 그룹 GEMM • 융합 옵티마이저 단계
실제 결과
대규모 테스트를 거침, 프로덕션에서 검증됨
Zyphra가 어떻게 처음부터 풀스택 AMD 플랫폼에서 ZAYA1을 구축했는지 알아보세요. 이 협업은 E2E Instinct 스택의 프로덕션 환경에서 수렴하는 1K 이상 GPU 기반 학습된 경쟁력 있는 모델을 보여줍니다.
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MMLU-Pro(5) 정확도(%)
40.43
41.92
42.25
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MATH-hard(4) Exact Match (%)
54.15
47.05
17.98
ZAYA1-base
Qwen3-4B
Gemma3-12B-PT
Llama3.1-8B
OLMoE-1B-7B
MBPP+(3) Pass@1 (%)
75.40
76.46
75.40
Primus 시작하기
모델 선정부터 대규모 학습에 이르는 여정
Instinct에서 처음부터 프런티어 AI 모델 구축을 위해 프로덕션 테스트를 거친 레퍼런스 아키텍처를 체험하세요.
Icon
Primus 생태계 내에서 Primus LM을 사용합니다.
Icon
GitHub에서 최신 사전 릴리스 기능 및 소스 코드를 조회하세요.
리소스
