Iterate.ai baut private KI auf Basis von AMD Ryzen™ AI PRO Prozessoren

Iterate.ai baut private KI auf Basis von AMD Ryzen™ AI PRO Prozessoren

Iterate.ai nutzt AMD Ryzen™ AI PRO Prozessoren für private 32B-LLMS mit 32k-Kontextfenstermodellen bei ~60–80 Token/s und senkt dadurch Cloud-Kosten und -Risiken.

Iterate.ai nennt sich selbst „das Unternehmen für private KI“. Während Unternehmen generative KI (GenAI) einsetzen, um die Produktivität zu steigern, konzentriert sich Iterate.ai auf ausgeklügelte Workflows, die sicher innerhalb der Unternehmensgrenzen ausgeführt werden. Mit der Generate-Anwendung können große Unternehmen personalisierte KI‑Assistenten und agentische Workflows erstellen, die effizient komplexe Daten analysieren, die über kritische Geschäftssysteme wie Jira, Slack und Salesforce verteilt sind.

Mit dem Ziel, leistungsstarke lokale KI‑Funktionen bereitzustellen und gleichzeitig Datenoffenlegung zu verhindern, arbeitete Iterate.ai eng mit AMD zusammen, um Generate exklusiv für AMD Ryzen™ AI PRO Prozessoren zu optimieren. Dank dieser Zusammenarbeit kann Generate die CPU, die integrierte GPU und die dedizierte NPU der AMD Ryzen AI PRO Prozessoren parallel nutzen. Indem die Lösung auf Benutzergeräten ausgeführt wird, bietet Iterate.ai 100‑prozentige Datenaufbewahrung und -kontrolle und kann Unternehmen gleichzeitig dabei unterstützen, variable Cloud-Tokenkosten in vorhersehbare Fixkosten zu verwandeln.

Schutz von Daten und Kontrolle der Tokenkosten

IT‑Entscheidungsträger achten sowohl auf Performance als auch auf Sicherheit. Die Umstellung auf KI bringt neue Sicherheitsbedenken mit sich, da viele Unternehmen Schwierigkeiten haben, das Risiko zu managen, dass vertrauliche, firmeneigene Informationen an öffentliche Large Language Models (LLMs) übertragen werden.

„Die größte Herausforderung, die Generate bewältigt, ist die Sicherheit“, erklärt Iterate.ai Special Project Engineer Karanbir Singh. „Wenn Unternehmen ein öffentliches LLM verwenden, haben sie keine Kontrolle über die Daten, die darin aufbewahrt werden. Iterate.ai führt die KI‑Modelle direkt neben der Anwendung auf Ihrem lokalen Gerät aus, sodass keine Daten ins Internet übertragen werden.“

Eine weitere Herausforderung sind die Kosten. Hierzu Brian Sathianathan, Mitgründer und CTO von Iterate.ai: „Jüngste Branchenstudien zeigen, dass die Tokennutzung im letzten Jahr um das 100‑Fache gestiegen ist.“ Cloudbasierte LLM‑Inferenz wird pro Token abgerechnet, was zu einer hohen Variabilität und Kostenunsicherheit für Unternehmensbudgets führt. Iterate.ai wollte Unternehmen in die Lage versetzen, ihre KI‑Workflows weg von diesem nutzungsbasierten Modell zu verlagern und gleichzeitig vollständige Datenhoheit zu gewährleisten. Zudem muss die Lösung offline funktionieren, damit Benutzer KI auch auf Reisen oder bei Verbindungsproblemen weiterhin nutzen können.

Private KI auf AMD Basis weist den Weg

Iterate.ai wählte AMD aufgrund seines umfassenden Technologie-Stacks aus, der die Skalierbarkeit und Flexibilität bietet, die für das Unternehmensprodukt erforderlich sind. „Was uns von AMD überzeugt hat, ist das Notebook-Angebot mit leistungsstarken Prozessoren, die CPU-, GPU- und NPU‑Funktionen umfassen. Gleichzeitig bietet AMD auch leistungsstarke serverseitige Lösungen wie die AMD Instinct™ MI300‑Serie GPUs“, erklärt Sathianathan. „Mit AMD erhalten wir eine End‑to‑End-Lösung vom Client bis zum Server. AMD bietet die richtigen Voraussetzungen, um die Revolution rund um private KI zu unterstützen, und ist damit der ideale Partner für Iterate.ai.“

Schnellere Entwicklung dank AMD Lemonade Server

Iterate.ai integrierte AMD Lemonade Server, ein Open‑Source-Tool, das die Entwicklung rund um lokale LLMs vereinfacht. „Lemonade Server stellt alles mit OpenAI-Kompatibilität bereit, dem derzeitigen Branchenstandard. Die Arbeit, die AMD in Lemonade Server steckt, erleichtert die Integration zwischen unserer Anwendung und dem LLM erheblich“, so Sathianathan.

Der optimierte Ansatz beschleunigte die Bereitstellung von Iterate.ai und reduzierte gleichzeitig den Ressourcenbedarf. Hierzu Sathianathan: „Wir hätten mindestens doppelt so viele Techniker gebraucht, wenn wir die ganze Arbeit selbst hätten erledigen müssen. Die Kombination aus AMD Software und Hardware ist unglaublich stabil und ermöglicht es uns, die Entwicklung mit viel weniger Ressourcen durchzuführen, als in der Regel auf LLM‑Seite erforderlich sind.“

Optimierte Hardwarenutzung

Dank der High‑Performance-Architektur der AMD Ryzen AI PRO Prozessoren konnte Iterate.ai eine lokale KI‑Anwendung mit größerer Kapazität entwickeln, als es zuvor möglich war. Generate verwendet alle drei Komponenten der AMD Ryzen AI PRO Prozessoren, um optimale Performance zu erzielen: CPU, GPU und NPU. Diese parallele Architektur ist wichtig, da Generate verschiedenste Anwendungsfälle unterstützt: von einfacher Dokumentzusammenfassung bis hin zu hochkomplexen Diagrammanalysen.

Die koordinierte Hardwarebeschleunigung ist entscheidend für Energieeffizienz und Akkulaufzeit. Sathianathan hebt die Vorteile der spezialisierten NPU hervor: „Die AMD Ryzen AI NPU ist darauf optimiert, das LLM über lange Zeiträume auszuführen, weshalb sie sich perfekt für sehr komplexe Aufgaben eignet. Bei PCs sind Arbeitsspeicher und andere Ressourcen eingeschränkt. Deshalb nutzen wir die verschiedenen Leistungsprofile von NPU, GPU und CPU. Die Möglichkeit, alle Chipressourcen der AMD Ryzen AI PRO Prozessoren parallel zu nutzen, ist für uns ideal. Und dieser Ansatz trägt außerdem dazu bei, dass der Notebookakku während einer intensiven LLM‑Verarbeitung nicht zu schnell leer geht.“

Skalierbarkeit, Fixkosten und Datenhoheit

Laut Sathianathan ist die Bereitstellung von Iterate.ai auf der AMD Plattform entscheidend, um die Anforderungen moderner Unternehmen zu erfüllen. „AMD trägt dazu bei, lokale KI mit Sicherheits-, Datenschutz- und Kostenvorteilen zu nutzen, und schafft so Gewissheit für Unternehmen“, erklärt er.

Und diese Gewissheit wird durch messbare, überlegene Performance weiter unterstützt: Tests von Iterate.ai haben bestätigt, dass die AMD Plattform eine herausragende Modellskalierung ermöglicht. „Laut Branchenstandard sind Modelle mit 14 Milliarden Parametern und einem Kontextfenster von 16.000 Token ein guter Benchmark für einen KI‑PC“, so Singh. „Doch mit AMD Ryzen AI Prozessoren können wir Modelle mit 32 Milliarden Parametern – also mehr als doppelt so groß – und einem Kontextfenster von 32.000 Token nutzen.“

Dank dieses Skalierungsvorteils kann Iterate.ai anspruchsvollere Workloads lokal auf dem PC verarbeiten. Testmetriken bestätigen den hohen Durchsatz des Iterate.ai Modells, das in dem System ausgeführt wird: Sein Interplay-RAG‑Modell erreichte einen durchschnittlichen Durchsatz von etwa 60–80 Token/Sekunde – mit einer Spitzenleistung von 92,89 Token/Sekunde während einer Dokumentsuche.

„Indem Generate lokal ausgeführt wird, sind Kosten zu 100 % fix“, erklärt Sathianathan. „So entfällt ein hoher Anteil der variablen Kosten, weil es sich um einen einmaligen Investitionsaufwand handelt, der sich im Grunde über die Lebensdauer des PCs amortisiert.“

Da Generate das gesamte LLM‑Gedächtnis auf dem PC speichert, unterstützt die Anwendung außerdem die Datenhoheit und hilft Unternehmen so, Compliance-Standards wie HIPAA, DSGVO und SOC 2 einzuhalten. Dieser datenschutzorientierte Ansatz wird durch AMD PRO Security verstärkt, das mehrschichtige Schutzmaßnahmen wie AMD Memory Guard bietet. AMD Memory Guard verschlüsselt den Systemspeicher in Echtzeit, um vertrauliche Geschäftsdaten zu schützen, sollte ein PC verloren gehen oder gestohlen werden.

Pionierarbeit im Bereich private KI

Iterate.ai plant bereits die Optimierung seiner Anwendung für die nächste Generation von AMD Prozessoren. Singh hebt die AMD Roadmap und die Partnerschaft mit dem Anbieter hervor: „In den nächsten 12 bis 18 Monaten besteht das Ziel darin, noch größere LLMs mit größeren Kontextfenstern zu nutzen, um immer mehr Kundenanwendungsfälle zu unterstützen“, erklärt er. „AMD verfolgt eine großartige Vision für die Zukunft und wir freuen uns, auch weiterhin mit dem Unternehmen zusammenzuarbeiten, damit wir neue Möglichkeiten nutzen und diese Anwendungsfälle entwickeln können.“