AI를 어디에서 실행해야 할까요?

AI 실행 위치의 중요성

AI는 이제 클라우드뿐 아니라 훨씬 더 많은 곳에서 활약합니다. 즉 임직원 PC, 에지, 고객 소유 데이터 센터에서 작동하거나 클라우드 서비스를 통해 작동합니다. 기업이 AI를 업무에 도입할 다양한 방법을 찾고 있는 가운데, AI의 적절한 배치는 각 워크로드에 필요한 사항, 즉 데이터 액세스, 반응성 높은 성능, 안정적인 연결성, 충분한 용량, 관리 가능한 비용 등에 의해 결정됩니다.

파트너에게는 그러한 요건을 실용적인 인프라 추천으로 전환할 기회입니다. 로컬 문서 어시스턴트와 여러 사업장을 지원하는 동영상 분석 시스템에는 서로 다른 접근 방식이 필요할 수 있습니다. 먼저 워크로드를 살펴본 다음, AI 워크로드를 어디에서 실행해야 할지 파악하세요.

AI 업무의 유형도 관건입니다. 대규모 모델을 학습시키거나 다듬으려면 일반적으로 데이터 센터 또는 클라우드 기반의 상당한 컴퓨팅 파워가 필요합니다. 고객이 문서를 요약하거나 직원의 일상 업무를 돕는 등 AI를 일상적으로 활용하는 많은 작업은 기존 모델로 새로운 요청을 처리하는 추론에 해당합니다. 모델 및 소프트웨어에 따라 이러한 일은 PC, 에지 또는 중앙 집중식 인프라에서 처리될 수 있습니다. 이 차이를 이해하면 파트너는 고객이 실행 환경을 유연하게 선택할 수 있는 경우와 워크로드의 요구 수준이 높아 특정 솔루션이 필요한 경우를 구분할 수 있습니다.

고객에게 할 5가지 질문

제품을 추천하기 전에, 워크로드에 무엇이 필요한지를 규명하세요. 이러한 5가지 질문은 파트너가 적합한 배포 옵션을 파악하여 고객에게 각 옵션의 장단점을 설명하는 데 도움을 줍니다.

• 데이터를 로컬 환경에 보관해야 합니까? 민감 정보의 특성이나 업계 규정, 회사 정책에 따라 디바이스 또는 고객 자체 인프라 내에서 처리하는 방식이 더 적합할 가능성이 높습니다.
  
  
• 워크로드에 어느 정도의 응답 속도가 필요합니까? 실시간 동영상, 기계 설비 또는 대화형 지원과 관련된 작업은 데이터 생성 지점 가까이에서 추론을 수행하는 방식이 더 적합할 가능성이 높습니다.
  
  
• 네트워크 연결이 불안정해도 작동해야 합니까? 원격 사업장, 이동 근무 직원 및 제한된 환경의 경우 연결이 불가능하거나 불안정한 때도 AI가 끊임없이 작동해야 할 수 있습니다.
  
  
• 얼마나 많은 사용자나 시스템이 접속해야 합니까? 직원 한 명의 로컬 어시스턴트 사용과 전사에서 사용하는 공유형 모델은 매우 다르며, 특히 시간에 따른 수요 변화가 큰 영향력을 미칩니다.
  
  
• 사용량이 늘어나면 비용은 어떻게 달라집니까? 클라우드 API를 통해 AI를 실행할 경우 지속적인 토큰 기반 과금을 초래할 수 있는 반면, 로컬에서 AI를 실행할 경우 하드웨어 및 운영 비용이 고려 대상이 됩니다.

마지막으로 살펴본 비용 문제는 AI가 일상 업무에 자리 잡을수록 더욱 중요해집니다. 클라우드 AI API는 토큰 사용량을 기준으로 과금될 수 있는 반면, 엔터프라이즈 구독은 사용자 수 등을 기준으로 비용이 책정될 수 있습니다. 사용량 기반 API를 적용하면, 요청 양 및 토큰 소비가 증가함에 따라 비용이 늘어날 수 있습니다.

AMD 토크노믹스 계산기로 AI 비용 파악

AMD 토크노믹스 계산기를 사용하여 지원되는 로컬 및 클라우드 AI 시나리오에 대해 추정되는 비용을 비교하세요. 고객의 팀 규모, 예상 사용량, 선택한 클라우드 모델, 분석 기간을 입력해 AI 도입이 확대될 때 비용이 어떻게 달라질지 살펴보세요.

계산기는 사용자가 선택한 기간 동안의 비용을 추정합니다. 또한 운영비와 하드웨어 비용의 추정치를 포함해, 클라우드 API 이용 비용과 AMD 디바이스에서 지원 대상 AI 워크로드를 실행하거나 로컬과 클라우드를 혼합해 처리하는 비용을 비교합니다. 파트너에게 있어, 이는 AI 사용량이 증가함에 따라 서로 다른 선택이 비용에 어떤 영향을 미칠 수 있는지를 고객에게 보여주는 훌륭하고 간단한 방법입니다.

그 결과를 시작점으로 여기세요. 배포 방식을 추천하기 전에 모델과 소프트웨어의 호환성을 확인하고, 계산기의 가정에 포함되지 않은 라이선스 비용, IT 지원 비용, 기타 비용도 고려하세요.

디바이스, 에지, 데이터 센터, 아니면 클라우드?

워크로드에 필요한 사항을 명확히 파악하면 어디에서 실행해야 할지 더 쉽게 판단할 수 있습니다.

온디바이스 AI를 고려해 보세요. 직원이 지원 대상 애플리케이션으로 데이터를 로컬에서 처리하거나 인터넷에 계속 연결하지 않고도 작업해야 할 때 적합합니다. AMD Ryzen™ AI PRO 프로세서를 탑재한 시스템은 CPU, GPU, NPU를 결합해 생산성 도구부터 문서 지원까지 로컬 AI 애플리케이션을 지원합니다. 로컬 처리는 네트워크 연결 의존도를 낮추고, 지원 대상 워크로드의 데이터를 네트워크로 주고받는 과정을 없앨 수 있습니다.

엔터프라이즈 AI PC 및 하이브리드 AI에 관해 자세히 알아보기

에지 AI를 고려해 보세요. 카메라, 센서 또는 장비에서 생성된 데이터를 생성 지점 가까이에서 처리해야 할 때 적합합니다. AMD Ryzen™ AI Embedded X100 시리즈 프로세서는 CPU, GPU, NPU 가속이 통합되어 로컬 AI를 기타 까다로운 작업과 함께 처리해야 하는 시스템에 적합합니다. 현장 처리가 늘면 네트워크 전반에서 전송되는 원시 데이터의 양이 줄어, 대역폭 수요를 완화하고 시간에 민감한 시스템이 원격 서비스를 위해 대기하지 않고 반응하는 데 도움을 줍니다.

중앙 집중식 데이터 센터 인프라를 고려해 보세요. 대규모 모델, 공유형 서비스 또는 집약적 학습이 개별 디바이스를 상회하는 리소스를 필요로 할 때 제격입니다. AMD EPYC™ 서버 CPU와 AMD Instinct™ GPU는 연산 집약적인 추론, 모델 학습, 엔터프라이즈 AI 시스템 운영에 필요한 서비스를 지원합니다. AMD Enterprise AI Reference Stack을 통해 기업은 오픈 소프트웨어를 기반으로 AMD 인프라에서 AI를 배포 및 관리할 수도 있습니다.

엔터프라이즈 AI를 위한 AMD EPYC 서버 CPU 자세히 알아보기

클라우드 서비스를 고려해 보세요. 고객이 호스팅 모델에 대한 액세스 또는 수요가 변함에 따라 조절할 수 있는 용량을 필요로 할 때 제격입니다. 어떤 기업은, 자체 데이터 센터 내에 대규모 AI 워크로드를 유지하는 것이 비용 및 규모 면에서 더 합리적입니다. 다른 기업은 워크로드의 변동이 크거나 자체적으로 유지하는 것이 합리적이지 않은 리소스가 필요할 때 클라우드 서비스를 선호할 수 있습니다.

하이브리드 AI가 필요한 이유

동일한 AI 워크플로 내 상이한 작업이 상이한 환경에 적합할 수 있습니다. 하이브리드 방식을 사용하면 고객은 로컬 처리에 적합한 작업은 로컬에서 수행하고, 추가 용량이나 다른 모델이 필요한 작업에는 중앙 집중식 또는 클라우드 리소스를 활용할 수 있습니다.

AMD는 얼마나 많은 AI 작업이 적합한 애플리케이션에서 로컬로 처리될 수 있는지에 대한 유용한 예시를 제공합니다. Advancing AI 2026 문서에서, AMD는 AMD Ryzen™ AI 프로세서를 탑재한 시스템에서 Lemonade를 실행하여 일상 모델 요청을 온디바이스로 처리하고 훨씬 까다로운 요청은 클라우드 모델로 보내는 고객 지원 시연 사례를 소개합니다. 해당 특정 시연 전반에서, AMD는 69%의 토큰 처리가 로컬로 유지되면서, 31%가 클라우드로 오프로드되었음을 보고했습니다.

그러한 수치는 한 번의 시연에서 측정된 것이므로, 고객별 비율은 상이할 것입니다. 이 사례가 유용한 이유는 애플리케이션이 요청별로 로컬 처리와 클라우드 처리 여부를 결정하는 방식을 보여주기 때문입니다. 로컬 AI가 적합한 작업을 처리하되 필요할 때 더 큰 클라우드 모델을 활용하는 방식으로, 데이터 처리와 보안을 우선적으로 고려하면서 지속적인 클라우드 컴퓨팅 비용을 줄일 수 있습니다.

AMD Ryzen AI 프로세서는 직원 디바이스에서 업무를 지원할 수 있고, AMD Ryzen™ AI Embedded 프로세서는 현장 시스템으로 추론을 구현할 수 있으며, AMD EPYC 서버 CPU 및 AMD Instinct GPU는 중앙 집중식 워크로드를 지원할 수 있습니다. 그 결과 고객의 현재 업무와 단기 및 장기적으로 달라질 수 있는 AI 요구에 맞춰 더욱 유연하게 구축할 수 있습니다.

고객이 적합한 것을 찾도록 지원

이 글의 상단에서 언급된 5가지 질문은 파트너에게 유용한 시작점을 제공합니다. 즉각적인 응답이나 오프라인 사용이 중요하다면 온디바이스 AI와 에지 AI가 적합할 수 있습니다. 클라우드 플랫폼으로 보내지 않고 로컬에 유지해야 하는 데이터는 디바이스 또는 온프레미스 인프라에서 처리할 수 있습니다. 더 큰 공유 모델, 연산 집약적인 학습, 수요 증가에 맞춰 확장되는 처리 용량이 필요하다면 데이터 센터와 클라우드 옵션을 살펴보세요. 고객 요구 사항이 작업 전반에 걸쳐 상이한 경우에는, 처음부터 하이브리드 설정을 살펴보세요.

선택지를 좁히고 나면, 비용을 함께 살펴보는 것이 좋습니다. 로컬 AI PC가 논의의 일환인 경우에는, AMD 토크노믹스 계산기가 작업을 로컬에서 그리고 클라우드 API를 통해 실행함에 따른 잠재적 비용을 비교하는 데 도움을 드릴 수 있습니다. 그런 다음 고객이 선택한 AI 모델과 소프트웨어가 하드웨어에 적합한지 확인하고, 구축한 환경을 일상적으로 어떻게 관리하고 지원할지 함께 논의하세요.

하나의 정해진 AI 워크로드로 다음번 고객 대화를 시작하세요. 5가지 질문을 사용하여 적합한 배포 옵션을 파악하고, 해당되는 경우 AMD 토크노믹스 계산기로 추정 비용을 비교하고, 모델 및 소프트웨어 호환성을 검증한 후에 하드웨어를 추천하세요. 고객의 워크로드 요구 사항에 맞는 AMD 프로세서, 가속기, 소프트웨어에 관해 AMD 담당자와 상담하세요.