Iterate.ai cria IA privada com processadores AMD Ryzen™ AI PRO

Iterate.ai cria IA privada com processadores AMD Ryzen™ AI PRO

A Iterate.ai utiliza os processadores AMD Ryzen™ AI PRO para executar LLMs privados de 32 bilhões de parâmetros, com janela de contexto de 32K, a aproximadamente 60 a 80 tokens/s, reduzindo os custos e os riscos da nuvem

A Iterate.ai se autodenomina "a empresa privada de IA". À medida que as empresas adotam a IA generativa para aumentar a produtividade, a Iterate.ai concentra-se em fluxos de trabalho sofisticados que são executados com segurança dentro dos limites organizacionais. Sua aplicação Generate permite que grandes organizações criem assistentes de IA personalizados e fluxos de trabalho com agentes que analisam com eficiência dados complexos espalhados por sistemas empresariais essenciais, como Jira, Slack e Salesforce.

Para oferecer poderosos recursos locais de IA e, ao mesmo tempo, ajudar a evitar a exposição de dados, a Iterate.ai colaborou estreitamente com a AMD para otimizar o Generate exclusivamente para processadores AMD Ryzen™ AI PRO. Essa colaboração permite que o Generate utilize em conjunto a CPU, a GPU integrada e a NPU dedicada do processador AMD Ryzen AI PRO. Ao manter a solução no dispositivo do usuário, a Iterate.ai garante 100% de retenção e controle dos dados, ao mesmo tempo que transforma os custos variáveis com tokens na nuvem em um custo fixo e previsível para as empresas.

Proteção de dados e controle de custos de token

Os tomadores de decisões de TI valorizam tanto o desempenho quanto a segurança. A transição para a IA intensificou as preocupações com a segurança, à medida que as organizações enfrentam dificuldades para gerenciar o risco de que informações confidenciais e proprietárias sejam expostas a LLMs (Large Language Models, modelos de linguagem de grande escala) de domínio público.

"O grande problema que o Generate resolve é a segurança", afirma Karanbir Singh, engenheiro de projetos especiais da Iterate.ai. "Quando as empresas usam um LLM público, elas não têm controle sobre os dados que são retidos. A Iterate.ai executa os modelos de IA ao lado da aplicação no seu dispositivo local, para que nenhum dado seja enviado à Internet."

O custo agrava ainda mais o desafio. O cofundador e CTO da Iterate.ai, Brian Sathianathan, afirma: "Estudos recentes do setor indicam que houve um aumento de até 100 vezes no uso de tokens apenas no último ano." A inferência de LLM baseada em nuvem é cobrada por token, criando alta variabilidade e incerteza de custos para os orçamentos empresariais. A Iterate.ai queria permitir que as empresas transferissem seus fluxos de trabalho de IA para longe desse modelo baseado em uso e estabelecessem soberania total sobre os dados. A solução também precisa funcionar off-line, para que os usuários possam continuar usando IA mesmo durante viagens ou quando enfrentarem problemas de conectividade.

A IA privada desenvolvida pela AMD abre caminho

A Iterate.ai escolheu a AMD por sua pilha tecnológica abrangente, que oferece a escala e a flexibilidade necessárias para seu produto empresarial. "O que é atraente na AMD é que ela oferece notebooks com processadores potentes que incluem recursos de CPU, GPU e NPU. Ao mesmo tempo, a AMD também oferece soluções poderosas do lado do servidor, como as GPUs da série AMD Instinct™ MI300", afirma Sathianathan. "Com a AMD, existe uma solução de ponta a ponta, do lado do cliente até o servidor. A AMD está na posição certa para impulsionar a revolução da IA privada, o que a torna uma parceira ideal para a Iterate.ai."

Acelerando o desenvolvimento com o AMD Lemonade Server

A Iterate.ai integrou o AMD Lemonade Server, uma ferramenta de código aberto que simplifica o desenvolvimento de LLMs locais. "O Lemonade Server disponibiliza tudo de forma compatível com a OpenAI, o padrão do setor. O trabalho que a AMD colocou no Lemonade Server torna a integração entre nossa aplicação e o LLM muito mais fácil", disse Sathianathan.

A abordagem simplificada acelerou o cronograma de implantação da Iterate.ai e reduziu os requisitos de recursos. Sathianathan afirma: "Teria sido necessário pelo menos o dobro de engenheiros se tivéssemos precisado fazer todo o trabalho por conta própria. A combinação de software e hardware da AMD é muito estável, excepcional, na verdade, e nos permitiu gerenciar o desenvolvimento com muito menos recursos do que normalmente seriam necessários no lado do LLM."

Otimizando a utilização do hardware

A arquitetura de alto desempenho do processador AMD Ryzen AI PRO permitiu que a Iterate.ai projetasse uma aplicação de IA local com capacidade maior do que era possível anteriormente. O Generate utiliza todos os três componentes do processador AMD Ryzen AI PRO para alcançar o desempenho ideal: a CPU, a GPU e a NPU. Essa arquitetura paralela é essencial porque o Generate atende a casos de uso que vão desde um simples resumo de documentos até análises altamente complexas de gráficos e diagramas.

A aceleração coordenada por hardware é vital para a eficiência de energia e a duração da bateria. Sathianathan destacou os benefícios de aproveitar a NPU especializada, dizendo: "A NPU AMD Ryzen AI é superotimizada para executar o LLM por longos períodos, o que é perfeito para tarefas muito complexas. Em um PC, você opera em um ambiente com restrições de memória e recursos. Aproveitamos os diferentes perfis de energia da NPU, GPU e CPU. O ideal é poder utilizar todos os recursos do chip do processador AMD Ryzen AI PRO em paralelo. Essa abordagem também ajuda a evitar o esgotamento da bateria do notebook do usuário durante o processamento intenso de LLMs."

Alcançando escala, custos fixos e soberania de dados

Sathianathan observa que a implantação da Iterate.ai na plataforma AMD foi essencial para sua capacidade de atender às demandas da empresa moderna. "A AMD ajuda a viabilizar o uso de IA local com benefícios de segurança, privacidade e custo, proporcionando previsibilidade para empresas e organizações", afirma.

Ao mesmo tempo, essa previsibilidade é construída sobre um desempenho superior mensurável. Os testes da Iterate.ai confirmaram que a plataforma AMD permitiu uma escalabilidade excepcional dos modelos. "Nos padrões do setor, modelos com 14 bilhões de parâmetros e uma janela de contexto de 16K são bons modelos de referência para um PC com IA", disse Singh. "Com os processadores AMD Ryzen AI, podemos utilizar modelos com 32 bilhões de parâmetros, quase o dobro do tamanho, com uma janela de contexto de 32K".

Essa vantagem de escala permite que a Iterate.ai processe localmente no PC cargas de trabalho empresariais mais exigentes. As métricas de teste validam a alta taxa de produtividade do modelo proprietário da Iterate.ai em execução no sistema: o modelo Interplay RAG alcançou uma produtividade média de aproximadamente 60 a 80 tokens/s, com um pico de 92,89 tokens/s durante uma consulta de pesquisa de documentos.

"Executar o Generate localmente significa que o custo é 100% fixo", diz Sathianathan. "Você transfere muitos dos custos variáveis porque se trata de um CapEx, uma compra única que, na prática, é amortizada ao longo da vida útil do PC."

Ao manter toda a memória do LLM no PC, o Generate oferece suporte à soberania de dados e ajuda as organizações a se alinharem a padrões de conformidade como HIPAA, GDPR e SOC 2. Essa abordagem que prioriza a privacidade é reforçada pelo AMD PRO Security, que fornece defesas em múltiplas camadas, como o AMD Memory Guard. O AMD Memory Guard criptografa a memória do sistema em tempo real para ajudar a proteger dados comerciais confidenciais em caso de perda ou roubo de um PC.

Pioneira no espaço de IA privada

A Iterate.ai já está olhando para o futuro, buscando otimizar sua aplicação para a próxima geração de processadores AMD. Singh destacou o roteiro e a parceria da AMD. "Nos próximos 12 a 18 meses, o objetivo é utilizar LLMs ainda maiores, com janelas de contexto mais amplas, para atender a um número cada vez maior de casos de uso dos clientes", afirmou. "Acho que a AMD está fazendo um ótimo trabalho em sua visão para o futuro, e estamos entusiasmados por sermos parceiros, para que possamos aproveitar novas oportunidades e desenvolver esses casos de uso."