고객의 에이전틱 AI 인프라 구축 지원

또 다시 변화하고 있는 AI 환경

고객은 여전히 지금까지의 AI 활용 방식에 국한된 제한적인 시각으로 AI 인프라를 바라보고 있을 가능성이 높습니다. 즉, 단순한 호출-응답 방식의 단일 출력이나, 어떤 GPU를 사용할지, 가속기 메모리는 얼마나 필요한지, 어떤 모델을 실행할지와 같은 질문에 머물러 있는 식입니다.

이 모든 것이 중요한 요인이지만, 이제 그것이 전부는 아닙니다. 실험이 최우선 과제였던 AI 도입 초창기에는 타당한 이야기였습니다. 에이전틱 AI가 등장하면서 인프라와 관련한 논의가 변화했으며, 파트너에게는 고객이 GPU 중심의 AI 관점을 넘어설 수 있도록 지원할 기회가 생겼습니다.

AI 워크로드의 변화 양상

AI는 단순한 LLM 호출-응답 워크로드에서 지속적이고 독립적인 워크로드로 변모하고 있으며, 이를 통해 고객은 인프라를 활용하여 전보다 훨씬 더 많은 일을 수행하고, 사람의 개입 없이도 지속적인 운영 및 워크로드를 실행할 수 있습니다.

에이전틱 AI 시스템은 자율적인 계획 수립, 정보 검색, 도구 호출, API 상호작용, 상태 업데이트, 데이터베이스 쿼리, 워크플로 트리거, 다중 서비스 조율을 수행할 수 있습니다. 이러한 시스템이 프로덕션 환경에 도입됨에 따라, 고객에게는 기존의 독립된 모델 추론뿐만 아니라 지속적이고 동시 처리되는 서비스 집약적 워크로드를 지원할 수 있는 인프라가 필요해집니다.

GPU는 여전히 대규모 AI 학습 및 추론에 필수적이고, 모델 연산에 필요한 가속기 성능을 제공하지만 에이전틱 환경을 구성하는 시스템의 일부일 뿐입니다. 에이전틱 워크플로를 배포하려면 에이전트 샌드박스 확장, AI 호스트 노드 처리량 극대화, 범용 워크로드 구동이 모두 결합되어야 합니다.

이러한 제반 작업의 상당 부분은 CPU를 기반으로 구동됩니다. CPU가 성능을 뒷받침하지 못한다면 고객은 가속기에 대대적으로 투자한 이후에도 병목 현상, 높은 지연율, 낮은 GPU 활용률, 비효율적인 확장에 직면하게 됩니다.

따라서 균형 잡힌 AI 플랫폼에는 두 요소, 즉 모델 연산을 위한 가속기와 에이전틱 AI를 대규모로 활용할 수 있게 지원하는 서비스, 오케스트레이션, 데이터 레이어용 고성능 서버 CPU가 모두 필요합니다.

AMD EPYC™ 9006 시리즈 서버 CPU를 도입하면 인프라가 이러한 새로운 요구를 충족하도록 진화하며, 에이전틱 AI 도입과 함께 최첨단 성능을 지속적으로 제공할 수 있습니다.

에이전틱 시대를 위한 최고의 서버 CPU 포트폴리오¹

AMD EPYC 9006 시리즈 서버 CPU는 에이전틱 AI, 클라우드, 엔터프라이즈, 고성능 컴퓨팅 워크로드에서 압도적인 성능을 제공하며, 서버 프로세서로서 탁월한 코어당 성능과 함께 최대 256코어, 512스레드, 최대 5GHz의 클럭 속도를 지원합니다. 이 프로세서는 업계를 선도하는 PCIe® Gen 6 I/O 및 최대 1.6TB/s의 소켓당 메모리 대역폭을 바탕으로, 가장 까다로운 에이전틱 워크플로를 도입하는 고객을 위해 혁신을 주도하고 있습니다.

업그레이드에 부담을 느끼는 고객을 위해 AMD EPYC 서버 CPU는 이미 고밀도의 효율적인 서버 인프라에 적합한 표준 기반 x86 기반 환경을 제공하고 있으며, 이번 차세대 CPU는 향후 도입을 위한 로드맵을 확장하여 고객이 기존 프로덕션 환경의 중단 없이 원활하게 업그레이드할 수 있도록 지원합니다.

파트너는 이 새로운 제품군을 활용해 스케일업, 처리량 극대화, AI 제반 범용 워크로드 구동이라는 3가지 명확한 핵심 접근점을 바탕으로 고객과 에이전틱 AI 관련 논의를 이끌어갈 수 있습니다.

1. 스케일업

샌드박스 환경 구축, 멀티 에이전트 실험, 고동시성 에이전틱 서비스 운영을 준비하는 고객에게는 고밀도 연산 성능이 핵심입니다. 고객이 가용 전력, 랙 공간, 예산 제약 내에서 수용할 수 있는 에이전트가 많을수록 지속 불가능한 인프라 비용이나 복잡성을 만들지 않고도 AI 도입을 확장하기가 더 쉬워집니다.

코어 수가 높은 AMD EPYC 9006 시리즈 서버 CPU는 이러한 필요를 충족하도록 만들어졌으며, 이전 세대 대비 최대 33% 더 많은 코어 수²를 제공하므로 파트너는 더 높아진 에이전트 집중도를 통해 에이전트 수용량 문제에 직접적으로 대응할 수 있습니다.

2. 처리율 극대화

가속기 집약적인 시스템에서도 서버 CPU는 여전히 중요한 역할을 합니다. 서버 CPU는 GPU 데이터 공급, 데이터 이동 조율, I/O 지원, 호스트 측 서비스 실행을 돕고, 모델 실행과 전반적인 애플리케이션 환경 간의 마찰을 줄여줍니다.

3고클럭 AMD EPYC 9006 시리즈 서버 CPU는 이전 세대 제품 대비 레인당 2배의 대역폭³과 최대 1.6TB/s의 소켓당 메모리 대역폭을 제공하는 업계를 선도하는 PCIe® Gen 6 I/O 서브시스템을 갖추고 있어, 호스트 측 병목 현상을 줄이고 시스템 전반의 신속한 데이터 이동을 지원합니다.

GPU 활용률과 토큰 생성 극대화에 중점을 두는 고객에게 이 CPU는 호스트 플랫폼이 AI 워크로드에 필수적인 가속기 성능을 온전히 뒷받침할 수 있도록 지원합니다.

3. 범용 AI 서비스

많은 고객 워크로드가 하나의 AI 카테고리에 딱 들어맞지는 않습니다. 이러한 사용 사례는 데이터베이스, 스토리지 서비스, CPU 추론, 오케스트레이션 로직, 분석, 미들웨어, 보안 등을 아우릅니다. 바로 이러한 범용 워크로드야말로 에이전틱 AI를 최신 비즈니스 워크로드 관리를 위한 강력한 핵심 요소로 만들어 줍니다.

폭넓은 AMD EPYC 9006 시리즈 서버 CPU 포트폴리오 덕분에 파트너는 고객 요구사항에 가장 적합한 제품군 내 프로세서를 매핑하여, 중소 규모 언어 모델을 위한 CPU 추론, 계획 및 도구 사용을 위한 오케스트레이션, AMD SEV 및 신뢰할 수 있는 I/O 기능과 같은 AMD 보안 기술을 통한 컨피덴셜 AI 환경 지원을 제공할 수 있습니다.

AI를 도입하는 동시에 기존 엔터프라이즈 인프라를 현대화하려는 고객의 경우, AMD EPYC 9006 시리즈 서버 CPU로 전환하면 소프트웨어 스택이 기반으로 하는 x86 플랫폼을 유지하면서 마이그레이션 문제를 최소화하고, AI 계획부터 배포까지 소요되는 시간을 단축할 수 있습니다.