Iterate.ai 用 AMD Ryzen™ AI PRO 處理器打造私人 AI

Iterate.ai 用 AMD Ryzen™ AI PRO 處理器打造私人 AI

Iterate.ai 採用 AMD Ryzen™ AI PRO 處理器，以 32K 的模型上下文長度執行 32B 私人 LLM，不僅達到每秒約 60-80 符元的效能表現，還能降低雲端成本和風險

Iterate.ai 自稱為「私有 AI 公司」。企業紛紛採用生成式 AI 來提升生產力，而 Iterate.ai 則專注於可在組織內部安全執行的複雜工作流程。其 Generate 應用程式可讓大型組織建立個人化 AI 助理與代理式工作流程，有效率地分析分散在 Jira、Slack 與 Salesforce 等關鍵業務系統中的複雜資料。

為提供強大的本機 AI 功能，同時協助避免資料外洩，Iterate.ai 與 AMD 密切合作，針對 AMD Ryzen™ AI PRO 處理器專門最佳化 Generate。這項合作讓 Generate 能協同運用 AMD Ryzen AI PRO 處理器的處理器、整合式顯示卡與專用 NPU。透過讓解決方案直接在使用者裝置上運作，Iterate.ai 可讓資料完全保留在本機並由使用者掌控，同時將浮動的雲端符元費用轉化為企業可預測的固定成本。

確保資料安全並控管符元成本

IT 決策者同樣重視效能與安全性。轉向 AI 進一步加劇了資安疑慮，因為組織難以控管敏感專有資訊暴露給公開大型語言模型 (large language model, LLM) 的風險。

「Generate 所解決的一大痛點就是安全性。」Iterate.ai 特別專案工程師 Karanbir Singh 表示：「企業使用公開 LLM 時，無法掌控哪些資料會被保留。Iterate.ai 讓 AI 模型直接在您的本機裝置上與應用程式一同執行，因此不會將任何資料傳送至網際網路。」

成本問題更讓這項挑戰雪上加霜。Iterate.ai 共同創辦人兼技術長 Brian Sathianathan 表示：「近期產業研究顯示，僅過去一年，符元使用量最高就增加了 100 倍。」雲端 LLM 推論依符元計費，使企業預算面臨高度波動與成本不確定性。Iterate.ai 希望協助企業擺脫這種依使用量計費的模式，將 AI 工作流程移轉至其他執行方式，並建立完整的資料主權。此解決方案也必須支援離線運作，讓使用者即使在旅行途中或遇到連線問題時，仍可持續使用 AI。

採用 AMD 技術的私有 AI 引領未來方向

Iterate.ai 選擇 AMD，是因為其完整的技術堆疊可提供企業產品所需的規模與彈性。「AMD 最吸引人的地方，在於其筆記型電腦產品採用功能強大的處理器，具備處理器、顯示卡與 NPU 運算能力。同時，AMD 也提供 AMD Instinct™ MI300 系列顯示卡等強大的伺服器端解決方案。」Sathianathan 表示：「透過 AMD，我們可使用從用戶端一路延伸至伺服器端的端對端解決方案。AMD 正處於推動私有 AI 革命的有利位置，因此成為 Iterate.ai 的理想合作夥伴。」

運用 AMD Lemonade Server 加速開發

Iterate.ai 整合 AMD Lemonade Server，這項開放原始碼工具可簡化本機 LLM 的開發工作。Sathianathan 表示：「Lemonade Server 將所有功能以 OpenAI 相容形式提供，而這也是目前業界的預設標準。AMD 在 Lemonade Server 上投入的開發工作，讓我們的應用程式與 LLM 之間的整合變得容易許多。」

這種精簡的開發方式加快了 Iterate.ai 的部署進程，同時降低資源需求。Sathianathan 表示：「如果所有工作都必須由我們自行完成，至少需要兩倍的工程師人力。AMD 軟硬體的組合非常穩定，實際表現更是相當出色，讓我們能以遠少於一般 LLM 開發所需的資源完成開發工作。」

最佳化硬體使用率

AMD Ryzen AI PRO 處理器的高效能架構，讓 Iterate.ai 能夠設計出處理能力更強大的本機 AI 應用程式。Generate 同時運用 AMD Ryzen AI PRO 處理器的三大元件，以實現最佳效能：處理器、顯示卡與 NPU。這種平行運算架構至關重要，因為 Generate 必須處理從簡單的文件摘要，到高度複雜的圖表分析等各種使用情境。

協調的硬體加速，對能源效率與電池續航力極其重要。Sathianathan 特別強調運用專用 NPU 的優勢，他表示：「AMD Ryzen AI NPU 經過高度最佳化，可長時間執行 LLM，非常適合處理極為複雜的工作。在電腦上執行時，記憶體與系統資源都相對有限。我們會善用 NPU、顯示卡與處理器各自不同的功耗設定檔。最理想的方式是能夠平行運用 AMD Ryzen AI PRO 處理器的所有晶片資源。這種做法也有助於避免在執行高強度 LLM 處理時，大幅消耗使用者筆記型電腦的電池電量。」

實現規模擴充、固定成本與資料主權

Sathianathan 指出，使用 AMD 平台部署 Iterate.ai，是滿足現代企業需求的關鍵。他表示：「AMD 協助實現兼具安全性、隱私與成本優勢的本機 AI，讓企業與組織能更有把握地規劃與運用 AI。」

同時，這份信心建立在可衡量的卓越效能之上。Iterate.ai 的測試證實，AMD 平台可提供卓越的模型擴充能力。「依照業界標準，具有 16K 上下文長度的 140 億參數模型，是很適合作為 AI 電腦基準測試的模型。」Singh 表示：「採用 AMD Ryzen AI 處理器後，我們可以運用具有 32K 上下文長度的 320 億參數模型，模型規模幾乎擴大一倍。」

這項規模優勢讓 Iterate.ai 能在電腦本機處理要求更高的企業工作負載。測試指標證實 Iterate.ai 專有模型在此系統上執行時具備高輸送量：其 Interplay RAG 模型平均可達每秒約 60–80 個符元，在執行 Document Search 查詢時，峰值更達每秒 92.89 個符元。

「在本機執行 Generate，代表成本完全固定。」Sathianathan 表示：「這能消除大量浮動成本，因為這屬於資本支出 (CapEx)，只需一次性購買，基本上可在電腦的整個生命週期內攤提。」

Generate 將整個 LLM 的記憶體保留在電腦本機，可支援資料主權，並協助組織符合 HIPAA、GDPR 與 SOC 2 等法規遵循標準。這種以隱私為優先的做法進一步結合 AMD PRO 安全性，提供包括 AMD Memory Guard 在內的多層防護。AMD Memory Guard 可即時加密系統記憶體，在電腦遺失或遭竊時協助保護敏感的企業資料。

開創私有 AI 新領域

Iterate.ai 已著手規劃針對下一代 AMD 處理器最佳化其應用程式。Singh 特別提到 AMD 的產品藍圖與雙方合作關係。「未來 12 至 18 個月，我們的目標是運用規模更大、上下文長度也更大的 LLM，以滿足越來越多的客戶使用情境。」他表示：「我認為 AMD 對未來有非常出色的願景，我們也很高興能成為 AMD 的合作夥伴，讓我們可以掌握新的機會，並打造這些使用情境。」