Iterate.ai développe une IA privée sur les processeurs AMD Ryzen™ AI PRO

Iterate.ai développe une IA privée sur les processeurs AMD Ryzen™ AI PRO

Iterate.ai s'appuie sur les processeurs AMD Ryzen™ AI PRO pour exécuter des modèles LLM privés de 32 milliards de paramètres avec une fenêtre contextuelle de 32K, atteignant une vitesse d'environ 60 à 80 jetons par seconde, ce qui réduit les coûts et les risques liés au cloud

Iterate.ai se présente comme « l'entreprise spécialisée dans l'IA privée ». À mesure que les entreprises adoptent l'IA générative pour booster leur productivité, Iterate.ai se concentre sur des flux de travail sophistiqués qui s'exécutent de manière sécurisée au sein des environnements organisationnels. Son application Generate permet aux grandes entreprises de créer des assistants IA personnalisés ainsi que des flux de travail agentiques capables d'analyser efficacement des données complexes, réparties dans des systèmes professionnels stratégiques, tels que Jira, Slack et Salesforce.

Afin d'offrir de puissantes fonctionnalités d'IA locale tout en contribuant à prévenir les risques d'exposition des données, Iterate.ai a collaboré étroitement avec AMD afin d'optimiser Generate exclusivement pour les processeurs AMD Ryzen™ AI PRO. Cette collaboration permet à Generate d'utiliser conjointement le CPU AMD Ryzen AI PRO, le GPU intégré et le NPU dédié. En ancrant la solution sur l'appareil de l'utilisateur, Iterate.ai assure une rétention et un contrôle des données à 100 %, tout en transformant les dépenses variables liées aux jetons cloud en un coût fixe et prévisible pour les entreprises.

Sécurisation des données et maîtrise des coûts liés aux jetons

Les décideurs en matière d'informatique accordent une grande importance à la fois à la performance et à la sécurité. Avec l'essor de l'IA, les enjeux de sécurité sont devenus encore plus importants, les entreprises peinant à maîtriser le risque d'exposition d'informations sensibles et confidentielles à de grands modèles de langage (LLM) publics.

« Le principal problème que Generate aborde est la sécurité », a déclaré Karanbir Singh, ingénieur de projet spécial chez Iterate.ai. « Lorsque les entreprises utilisent un LLM public, elles n'ont aucun contrôle sur les données conservées. Iterate.ai exécute les modèles d'IA directement sur l'appareil, au plus près de l'application, afin qu'aucune donnée ne soit envoyée sur Internet. »

La difficulté est encore accentuée par les coûts. Le cofondateur et directeur technique d'Iterate.ai, Brian Sathianathan, déclare : « Selon de récentes études du secteur, l'utilisation des jetons a augmenté jusqu'à 100 fois au cours de la seule année écoulée. » L'inférence des LLM basés sur le cloud est facturée par jeton, ce qui entraîne une forte variabilité et une incertitude pour le budget des entreprises. Iterate.ai souhaitait permettre aux entreprises de transférer leurs flux de travail d'IA vers un modèle qui ne repose pas sur la consommation à l'usage et d'établir une souveraineté totale sur leurs données. La solution doit également fonctionner hors ligne pour que les utilisateurs puissent continuer à utiliser l'IA même lorsqu'ils sont en déplacement ou rencontrent des problèmes de connectivité.

L'IA privée optimisée par AMD ouvre la voie

Iterate.ai a choisi AMD pour sa pile technologique complète, qui offre l'évolutivité et la flexibilité nécessaires à son offre destinée aux entreprises. « Un élément est particulièrement convaincant chez AMD : l'entreprise propose une gamme d'ordinateurs portables équipés de processeurs puissants intégrant des capacités CPU, GPU et NPU. En même temps, AMD propose également des solutions puissantes côté serveur, telles que les GPU AMD Instinct™ Série MI300 », a indiqué Brian Sathianathan. « Avec AMD, il existe une solution complète, du client au serveur. AMD est idéalement positionné pour mener la révolution de l'IA privée, ce qui en fait un partenaire de choix pour Iterate.ai.

Accélérer le développement avec AMD Lemonade Server

Iterate.ai a intégré AMD Lemonade Server, un outil open source qui simplifie le développement de LLM locaux. « Lemonade Server expose toutes les fonctionnalités via une interface compatible avec OpenAI, norme de fait du secteur. » « Le travail qu'AMD a consacré à Lemonade Server facilite considérablement l'intégration entre notre application et le LLM », a déclaré Sathianathan.

L'approche rationalisée a permis à Iterate.ai d'accélérer son calendrier de déploiement et de réduire ses besoins en ressources. Brian Sathianathan l'affirme : « Si nous avions dû faire tout le travail nous-mêmes, il nous aurait fallu au moins deux fois plus d'ingénieurs. La combinaison software/hardware d'AMD est très stable, et même exceptionnelle, et nous a permis de gérer le développement avec beaucoup moins de ressources que ce qui est habituellement nécessaire pour les LLM. »

Optimisation de l'utilisation du hardware

L'architecture haute performance du processeur AMD Ryzen AI PRO a permis à Iterate.ai de concevoir une application d'IA locale avec des capacités inédites jusqu'alors. Generate exploite les trois composantes du processeur AMD Ryzen AI PRO afin d'atteindre des performances optimales : le CPU, le GPU et le NPU. Cette architecture parallèle est essentielle, car Generate gère des cas d'utilisation allant de la simple synthèse de documents à l'analyse très complexe de graphiques et de diagrammes.

L'accélération hardware coordonnée est essentielle à l'efficacité énergétique et à l'autonomie de la batterie. Brian Sathianathan a souligné les avantages de l'utilisation de la NPU spécialisée : « Le NPU AMD Ryzen AI est ultra-optimisé pour exécuter le LLM sur de longues périodes, ce qui le rend parfaitement adapté aux tâches très complexes. » DansD un PC, la mémoire et les ressources sont limitées. Nous profitons des différents profils de puissance de la NPU, du GPU et du CPU. Il est idéal de pouvoir utiliser toutes les ressources des puces du processeur AMD Ryzen AI PRO en parallèle pour bénéficier d'une performance optimale. Cette approche permet également d'éviter de décharger la batterie de l'ordinateur portable de l'utilisateur lors d'un traitement LLM intensif. »

Évolutivité, coûts fixes et souveraineté des données

Brian Sathianathan souligne que le déploiement d'Iterate.ai sur la plateforme AMD est essentiel pour répondre aux exigences des entreprises modernes. « AMD permet de tirer profit de l'IA locale avec les avantages qui en découlent en matière de sécurité, de confidentialité et de coûts, offrant ainsi un environnement fiable à toutes les entreprises », explique-t-il.

Parallèlement, cette confiance repose sur des performances supérieures et mesurables. Les tests d'Iterate.ai ont confirmé que la plateforme AMD permettait une exceptionnelle scalabilité des modèles. « Dans le secteur, les modèles de benchmark pour les PC IA sont généralement des modèles de 14 milliards de paramètres avec une fenêtre de contexte de 16K », a déclaré Karanbir Singh. « Avec les processeurs AMD Ryzen AI, nous pouvons exploiter des modèles de 32 milliards de paramètres, soit près du double, avec une fenêtre de contexte de 32K. »

Cet avantage en matière d'évolutivité permet à Iterate.ai de prendre en charge localement sur le PC des charges de travail d'entreprise plus exigeantes. Les mesures réalisées lors des tests confirment le débit élevé du modèle propriétaire d'Iterate.ai exécuté sur le système : son modèle Interplay RAG a atteint un débit moyen d'environ 60 à 80 jetons par seconde, avec un pic à 92,89 jetons par seconde lors d'une requête de recherche de documents.

« L'exécution locale de Generate signifie un coût fixe à 100 % », explique Brian Sathianathan. « Vous éliminez une grande partie de la variabilité des coûts, puisqu'il s'agit d'une dépense d'investissement, c'est-à-dire d'un achat unique que vous amortissez sur toute la durée de vie du PC. »

En conservant l'intégralité de la mémoire du LLM sur le PC, Generate favorise la souveraineté des données et aide les entreprises à se conformer à des normes telles que HIPAA, le RGPD et SOC 2. Cette approche axée sur la confidentialité est renforcée par AMD PRO Security, qui fournit des défenses multicouches telles qu'AMD Memory Guard. AMD Memory Guard chiffre la mémoire système en temps réel pour protéger les données sensibles de l'entreprise en cas de perte ou de vol d'un PC.

Pionnier dans le domaine privé de l'intelligence artificielle

Iterate.ai se penche déjà sur l'optimisation de son application pour la prochaine génération de processeurs AMD. M. Singh a souligné la feuille de route et le partenariat stratégique d'AMD. « Au cours des 12 à 18 prochains mois, l'objectif sera d'exploiter des LLM encore plus vastes, dotés de fenêtres de contexte plus grandes, afin de répondre à un nombre toujours croissant de cas d'utilisation clients », a-t-il déclaré. « Je pense qu'AMD a fait un excellent travail dans sa vision pour l'avenir et nous sommes ravis de pouvoir être son partenaire pour pouvoir saisir de nouvelles opportunités et développer ces cas d'utilisation. »