Iterate.ai desarrolla IA privada en procesadores AMD Ryzen™ AI PRO

Iterate.ai desarrolla IA privada en procesadores AMD Ryzen™ AI PRO

Iterate.ai aprovecha los procesadores AMD Ryzen™ AI PRO para ejecutar LLM privados de 32 000 millones de parámetros con modelos de ventana de contexto de 32 000 tokens a ≈60-80 tokens por segundo, lo que reduce los costos y los riesgos en la nube.

Iterate.ai se autodenomina “la empresa privada de IA”. A medida que las empresas adoptan la IA generativa para aumentar la productividad, Iterate.ai se enfoca en flujos de trabajo sofisticados que se ejecutan de forma segura dentro de los límites de la organización. Su aplicación Generate permite a las grandes organizaciones crear asistentes de IA personalizados y flujos de trabajo agénticos que analizan de manera eficiente los datos complejos dispersos en los sistemas para empresas fundamentales, como Jira, Slack y Salesforce.

Para ofrecer una potente funcionalidad de IA local y, al mismo tiempo, ayudar a prevenir la exposición de datos, Iterate.ai colaboró estrechamente con AMD a fin de optimizar Generate solo para los procesadores AMD Ryzen™ AI PRO. Esta colaboración ayuda a Generate a utilizar de forma conjunta la CPU, la GPU integrada y la NPU dedicada del procesador AMD Ryzen AI PRO. Al anclar la solución al dispositivo del usuario, Iterate.ai proporciona un 100 % de retención y control de datos, lo que convierte los gastos variables de tokens en la nube en un costo predecible y fijo para las empresas.

Protección de datos y control de costos de los tokens

Los encargados de la toma de decisiones de TI valoran tanto el rendimiento como la seguridad. El cambio hacia la IA intensificó las preocupaciones de seguridad a medida que las organizaciones luchan por gestionar el riesgo de que la información confidencial y propietaria se exponga a grandes modelos de lenguaje (LLM) públicos.

“El gran punto conflictivo que aborda Generate es la seguridad”, indicó Karanbir Singh, ingeniero de Proyectos Especiales de Iterate.ai. “Cuando las empresas utilizan un LLM público, no tienen control sobre los datos que se conservan. Iterate.ai ejecuta los modelos de IA directamente junto con la aplicación en tu dispositivo local para que no se envíen datos a Internet”.

Además, los costos dificultan el desafío. Brian Sathianathan, el cofundador y CTO de Iterate.ai, afirma lo siguiente: “En estudios recientes del sector, se indica que hubo un aumento de hasta 100 veces en el uso de tokens en el último año”. La inferencia de LLM basada en la nube se cobra por token, lo que genera una alta variabilidad y una incertidumbre de costos para los presupuestos empresariales. Iterate.ai quería capacitar a las empresas para que migraran sus flujos de trabajo de IA fuera de este modelo basado en uso y establecieran una soberanía de datos plena. La solución también debe funcionar sin conexión para que los usuarios puedan seguir utilizando la IA incluso cuando viajen o experimenten problemas de conectividad.

La IA privada mejorada por AMD indica el camino

Iterate.ai eligió a AMD por su pila de tecnología completa, que proporciona la escala y la flexibilidad necesarias para su producto empresarial. “Lo interesante de AMD es que cuenta con una oferta de laptops con potentes procesadores que incluyen capacidades de CPU, GPU y NPU. Al mismo tiempo, AMD también ofrece potentes soluciones para servidores, como las GPU AMD Instinct™ Serie MI300”, afirma Sathianathan. “Con AMD, existe una solución integral que abarca desde el lado del cliente hasta el servidor. AMD se encuentra en una posición privilegiada para impulsar la revolución de la IA privada, lo que la convierte en un socio ideal para Iterate.ai”.

Aceleración del desarrollo con AMD Lemonade Server

Iterate.ai integró AMD Lemonade Server, una herramienta de código abierto que simplifica el desarrollo de LLM locales. “Lemonade Server expone todo de manera compatible con OpenAI, el estándar predeterminado de la industria. El trabajo que AMD dedicó a Lemonade Server facilita mucho la integración entre nuestra aplicación y el LLM”, afirmó Sathianathan.

El enfoque optimizado aceleró el plazo de implementación de Iterate.ai y redujo los requisitos de recursos. Sathianathan afirma lo siguiente: “Habríamos tenido que usar al menos el doble de ingenieros si hubiéramos tenido que hacer todo ese trabajo por nuestra cuenta. La combinación de software y hardware de AMD es muy estable, incluso estelar, y nos permitió gestionar el desarrollo con muchos menos recursos que lo que normalmente se requiere en el lado de LLM”.

Optimización de la utilización del hardware

La arquitectura de alto rendimiento del procesador AMD Ryzen AI PRO permitió a Iterate.ai diseñar una aplicación de IA local con mayor capacidad de la que era posible anteriormente. Generate utiliza los tres componentes del procesador AMD Ryzen AI PRO para lograr un rendimiento óptimo: la CPU, la GPU y la NPU. Esta arquitectura paralela es esencial porque Generate maneja casos de uso desde un resumen simple de documentos hasta un análisis altamente complejo de paneles y gráficos.

La aceleración de hardware coordinada es vital para el ahorro de energía y la duración de la batería. Sathianathan destacó los beneficios de aprovechar la NPU especializada y dijo lo siguiente: “La NPU AMD Ryzen AI está altamente optimizada para ejecutar el LLM durante largos períodos, lo que es perfecto para tareas muy complejas. En una PC, te desenvuelves en un entorno con limitaciones de memoria y recursos. Aprovechamos los diferentes perfiles de potencia de NPU, GPU y CPU. Ser capaz de utilizar todos los recursos de chip del procesador AMD Ryzen AI PRO en paralelo es ideal. Ese enfoque también ayuda a evitar agotar la batería de la laptop del usuario durante el procesamiento intensivo del LLM”.

Cómo lograr escala, costos fijos y soberanía de datos

Sathianathan señala que la implementación de Iterate.ai en la plataforma AMD es esencial para su capacidad de satisfacer las demandas de la empresa moderna. “AMD ayuda a que sea posible aprovechar la IA local con seguridad, privacidad y beneficios en el costo, lo que genera claridad para empresas y organizaciones”, afirma.

Al mismo tiempo, dicha claridad se basa en un rendimiento superior y medible. En las pruebas de Iterate.ai, se confirmó que la plataforma AMD permitió una escala de modelo excepcional. “En los estándares de la industria, los modelos de 14 000 millones de parámetros con una ventana de contexto de 16 000 tokens son buenos modelos de evaluación comparativa para un PC con AI”, afirmó Singh. “Con los procesadores AMD Ryzen AI, podemos aprovechar modelos de 32 000 millones de parámetros, casi el doble del tamaño, con una ventana de contexto de 32 000 tokens”.

Esta ventaja de escala permite que Iterate.ai maneje cargas de trabajo empresariales más exigentes de manera local en la PC. Las métricas de prueba permiten validar el alto rendimiento del modelo propietario de Iterate.ai que se ejecuta en el sistema: su modelo con RAG Interplay logró un rendimiento promedio de ≈60-80 tokens por segundo, con un máximo de 92,89 tokens por segundo durante una consulta de búsqueda de documentos.

“Ejecutar Generate de forma local implica que tiene un 100 % de costo fijo”, afirma Sathianathan. “Traspasas diversos costos de variabilidad porque es una compra única de CapEx, que básicamente se amortiza durante la vida útil de la PC”.

Al mantener toda la memoria del LLM en la PC, Generate respalda la soberanía de datos y ayuda a las organizaciones a alinearse con los estándares de cumplimiento, tales como HIPAA, RGPD y SOC 2. Este enfoque centrado en la privacidad se refuerza con AMD PRO Security, que ofrece defensas de múltiples capas, como AMD Memory Guard. AMD Memory Guard cifra la memoria del sistema en tiempo real para ayudar a proteger los datos confidenciales de la empresa en caso de pérdida o robo de una PC.

Pioneros en el sector de la IA privada

Iterate.ai ya está buscando optimizar su aplicación para la próxima generación de procesadores AMD. Singh destacó la hoja de ruta y la asociación de AMD. “Entre los próximos 12 y 18 meses, el objetivo es aprovechar incluso LLM aún mayores, con ventanas de contexto más amplias, para satisfacer una cantidad creciente de casos de uso de clientes”, afirmó. “Creo que AMD está avanzando con gran acierto en su visión de futuro, y estamos emocionados de ser su socio a fin de poder aprovechar nuevas oportunidades y crear esos casos de uso”.