Iterate.ai, AMD Ryzen™ AI PRO 프로세서로 프라이빗 AI 구축

Iterate.ai, AMD Ryzen™ AI PRO 프로세서로 프라이빗 AI 구축

Iterate.ai는 AMD Ryzen™ AI PRO 프로세서를 활용해 32K 컨텍스트 윈도우를 지원하는 320억 파라미터 규모의 프라이빗 LLM을 초당 약 60~80개 토큰 속도로 구동하여 클라우드 비용과 위험을 줄입니다.

Iterate.ai는 스스로를 “프라이빗 AI 기업”이라고 부릅니다. 기업이 생산성을 높이기 위해 생성형 AI를 도입하는 가운데, Iterate.ai는 조직 경계 안에서 안전하게 실행되는 정교한 워크플로에 집중합니다. Iterate.ai의 Generate 애플리케이션을 사용하면 대규모 조직에서 Jira, Slack, Salesforce 같은 핵심 업무 시스템에 흩어져 있는 복잡한 데이터를 효율적으로 분석하는 맞춤형 AI 어시스턴트와 에이전틱 워크플로를 구축할 수 있습니다.

강력한 로컬 AI 기능을 제공하면서 데이터 노출을 방지하기 위해 Iterate.ai는 AMD와 긴밀히 협력해 AMD Ryzen™ AI PRO 프로세서 전용으로 Generate를 최적화했습니다. 이러한 협력 덕분에 Generate는 AMD Ryzen AI PRO 프로세서의 CPU, 내장 GPU, 전용 NPU를 함께 활용할 수 있습니다. 솔루션을 사용자 디바이스에서 실행되도록 고정함으로써 Iterate.ai는 데이터 보존과 제어를 100% 보장하는 한편, 변동성이 큰 클라우드 토큰 비용을 기업이 예측할 수 있는 고정 비용으로 바꿔 줍니다.

데이터 보안과 토큰 비용 관리

IT 의사 결정권자는 성능과 보안을 모두 중시합니다. AI로의 전환으로 기업이 민감한 독점 정보가 공개 LLM(Large Language Model)에 노출되는 위험을 관리하는 데 어려움을 겪으면서 보안 우려가 더욱 커졌습니다.

“Generate가 해결하는 가장 큰 문제는 안전성입니다”라고 Iterate.ai의 특수 프로젝트 엔지니어 Karanbir Singh는 말합니다. “기업이 공개 LLM을 사용하면 보존되는 데이터를 통제할 수 없습니다. Iterate.ai는 데이터가 인터넷으로 전송되지 않도록 사용자 로컬 디바이스의 애플리케이션 바로 옆에서 AI 모델을 실행합니다.”

여기에 비용 문제까지 더해집니다. Iterate.ai 공동 설립자이자 CTO인 Brian Sathianathan은 “최근 업계 연구에 따르면 지난 한 해 동안 토큰 사용량이 최대 100배까지 늘어난 것으로 나타났다”고 말합니다. 클라우드 기반 LLM 추론은 토큰 단위로 요금이 부과되므로 기업 예산의 변동성이 커지고 비용을 예측하기 어려워집니다. Iterate.ai는 기업이 자사의 AI 워크플로를 이러한 사용량 기반 모델에서 벗어나게 하고 완전한 데이터 주권을 확립할 수 있도록 지원하고자 했습니다. 이 솔루션은 사용자가 출장 중이거나 연결 문제를 겪을 때도 AI를 계속 사용할 수 있도록 오프라인에서도 작동해야 합니다.

AMD가 발전시키는 프라이빗 AI가 길을 엽니다

Iterate.ai는 AMD의 포괄적인 기술 스택이 자사 기업용 제품에 필요한 확장성과 유연성을 제공한다는 점에서 AMD를 선택했습니다. “AMD가 매력적인 점은 CPU, GPU, NPU 기능을 갖춘 강력한 프로세서를 탑재한 랩탑 제품군을 보유하고 있다는 것입니다. 동시에 AMD는 AMD Instinct™ MI300 시리즈 GPU 같은 강력한 서버 측 솔루션도 제공합니다”라고 Sathianathan은 말합니다. “AMD를 사용하면 클라이언트 측에서 서버까지 이어지는 엔드 투 엔드 솔루션을 갖출 수 있습니다. AMD는 프라이빗 AI 혁명을 실현하기에 적합한 위치에 있어 iterate.ai의 이상적인 파트너입니다.”

AMD Lemonade Server로 개발 가속화

Iterate.ai는 로컬 LLM 개발을 단순화하는 오픈 소스 도구인 AMD Lemonade Server를 통합했습니다. “Lemonade Server는 모든 것을 업계 기본 표준인 OpenAI 호환 방식으로 제공합니다. AMD가 Lemonade Server에 들인 노력 덕분에 저희 애플리케이션과 LLM의 통합이 훨씬 쉬워졌습니다”라고 Sathianathan은 말합니다.

이렇게 간소화된 방식 덕분에 Iterate.ai의 배포 일정이 단축되고 필요한 리소스도 줄었습니다. Sathianathan은 이렇게 말합니다. “모든 작업을 직접 해야 했다면 엔지니어가 적어도 두 배는 필요했을 것입니다. AMD 소프트웨어와 하드웨어의 조합은 매우 안정적이고 실제로 뛰어나서, 저희는 LLM 쪽에서 통상 필요한 것보다 훨씬 적은 리소스로 개발을 진행할 수 있었습니다.”

하드웨어 활용성의 최적화

AMD Ryzen AI PRO 프로세서의 고성능 아키텍처 덕분에 Iterate.ai는 기존에 가능했던 것보다 처리 용량이 큰 로컬 AI 애플리케이션을 설계할 수 있었습니다. Generate는 AMD Ryzen AI PRO 프로세서의 세 가지 구성 요소인 CPU, GPU, NPU를 모두 사용해 최적의 성능을 구현합니다. 이러한 병렬 아키텍처가 필수적인 이유는 Generate가 간단한 문서 요약부터 매우 복잡한 차트와 그래프 분석까지 다양한 사용 사례를 처리하기 때문입니다.

이처럼 하드웨어 가속을 조율하는 방식은 전력 효율과 배터리 지속시간에 매우 중요합니다. Sathianathan은 전용 NPU를 활용할 때 얻을 수 있는 이점을 강조하며 이렇게 말합니다. “AMD Ryzen AI NPU는 LLM을 장시간 구동하도록 고도로 최적화되어 있어 매우 복잡한 작업에 적합합니다. PC에서는 메모리와 리소스가 제한된 환경에서 작업하게 됩니다. 그래서 저희는 NPU, GPU, CPU의 서로 다른 전력 프로파일을 활용합니다. AMD Ryzen AI PRO 프로세서의 실리콘 리소스를 모두 병렬로 사용할 수 있다는 점이 이상적입니다. 이러한 방식은 LLM을 집중적으로 처리하는 동안 사용자의 랩탑 배터리가 소모되는 것을 막는 데도 도움이 됩니다.”

확장성과 고정 비용, 데이터 주권 확보

Sathianathan은 AMD 플랫폼에 Iterate.ai를 배포하는 것이 오늘날 기업의 요구에 대응하는 자사 역량에 필수적이라고 말합니다. “AMD 덕분에 보안, 개인 정보 보호, 비용 측면의 이점을 살려 로컬 AI를 활용할 수 있고 기업과 조직은 확실성을 얻게 됩니다”라고 그는 말합니다.

동시에 이러한 확실성은 측정 가능하고 우수한 성능을 바탕으로 합니다. Iterate.ai의 테스트를 통해 AMD 플랫폼이 뛰어난 모델 확장을 가능하게 한다는 점이 확인되었습니다. “업계 표준으로는 16K 컨텍스트 윈도우를 갖춘 140억 파라미터 모델이 AI PC의 좋은 벤치마크 모델입니다”라고 Singh는 말합니다. “AMD Ryzen AI 프로세서를 사용하면 크기가 거의 두 배인 320억 파라미터 모델을 32K 컨텍스트 윈도우로 활용할 수 있습니다.”

이러한 확장성 이점 덕분에 Iterate.ai는 더 까다로운 기업 워크로드를 PC에서 로컬로 처리할 수 있습니다. 테스트 지표는 시스템에서 구동되는 Iterate.ai 자체 모델의 높은 처리율을 뒷받침합니다. Interplay RAG 모델은 문서 검색 쿼리 중에 초당 평균 60~80개 토큰의 처리율을 기록했고 최고 92.89개 토큰을 기록했습니다.

“Generate를 로컬에서 구동하면 비용이 100% 고정됩니다”라고 Sathianathan은 말합니다. “일회성 구매인 CapEx이므로 변동 비용의 상당 부분이 사라지고 이 비용은 기본적으로 PC 수명 기간에 걸쳐 상각됩니다.”

Generate는 LLM 메모리 전체를 PC에 유지함으로써 데이터 주권을 뒷받침하고 조직이 HIPAA, GDPR, SOC 2 같은 규정 준수 표준에 맞추도록 지원합니다. 이러한 개인정보 보호 우선 방식은 AMD Memory Guard 같은 다층 방어를 제공하는 AMD PRO Security로 한층 강화됩니다. AMD Memory Guard는 시스템 메모리를 실시간으로 암호화하여 PC를 분실하거나 도난당한 경우 민감한 업무 데이터를 보호하는 데 도움을 줍니다.

프라이빗 AI 분야 개척

Iterate.ai는 이미 차세대 AMD 프로세서에 맞춰 자사 애플리케이션을 최적화할 방안을 내다보고 있습니다. Singh은 AMD의 로드맵과 파트너십을 강조했습니다. “앞으로 12~18개월 동안 더 큰 컨텍스트 윈도우를 갖춘 더 큰 LLM을 활용해 점점 늘어나는 고객 사용 사례에 대응하는 것이 목표입니다”라고 그는 말합니다. “AMD가 미래 비전을 훌륭하게 실현하고 있다고 보며, 저희는 AMD의 파트너로서 새로운 기회를 붙잡고 그러한 사용 사례를 구축할 수 있어 기쁩니다.”