智能体工作流的内部
智能体 AI 是一个由多个不同计算阶段组成的流程
从网关到做出响应,每个阶段都对 CPU 提出独特的要求。智能体 AI 接连通过计算、内存、I/O、安全和加速密集型阶段。
推荐资源
深入了解智能体工作流为何会增加 CPU 需求。
CPU 的作用
随着智能体 AI 规模的扩大,每个智能体都需要使用多个 CPU 来协调任务、管理内存、连接企业软件以及处理数据流,进而全面提升对 CPU 的需求。AMD EPYC 服务器 CPU 产品组合可承担三个不同的角色,以满足这些需求:扩展智能体沙箱、最大化 AI 主机节点吞吐量以及为智能体完成工作所需的通用工作负载提供强大支持。
智能体沙箱 CPU
利用 AMD EPYC 服务器 CPU 领先的每瓦性能、单位成本线程数和每机架线程密度,可以优化智能体的容量,从而实现单位功耗、单位成本和单个机架提供更多的智能体。2,3
AI 主机节点 CPU
利用高频率的 AMD EPYC 服务器 CPU,可最大限度地提高 GPU 利用率,并帮助提升 Token 生成速度,从而实现卓越的 GPU 效率和更高的单核性能。
通用 CPU
利用 AMD EPYC 服务器 CPU 丰富的产品阵容来协调规划、使用工具和子智能体,可增强其在数据库、存储、计算和搜索等通用工作负载中的领先性能。
博客
常见问题
智能体 AI 的运行机制通常是将推理能力、规划能力、工具调用、记忆存储以及反馈循环这几大要素结合在一起。AI 智能体的工作流程是:接收目标、制定计划、选用合适的工具或数据源、执行操作、检查结果、按需调整。根据不同的应用场景,它可以连接到业务应用、数据库、API、电子邮件、聊天平台或工作流程系统。
生成式 AI 创建内容,例如文本、图像、代码、摘要或建议。智能体 AI 更进一步,能够采取行动。它可以将一个目标分解为多个步骤,决定下一步做什么,使用软件工具,检索信息,完成任务,并监控进度。在大多数情况下,智能体 AI 会使用生成式 AI,作为更大工作流程的一部分来提供智能支持。
智能体 AI 可以支持跨多个业务职能的复杂工作流程。常见的应用场景包括客户服务、销售支持、研究、软件开发、数据分析、IT 运营、市场营销、人力资源、财务和后台自动化。例如,AI 智能体可以研究潜在客户、更新 CRM、草拟跟进电子邮件并安排后续步骤。
智能体 AI 可以帮助组织提高生产力、减少重复性工作、加快决策速度并改善客户和员工体验。因为它可以管理多步骤流程,所以对于需要跨系统、团队或数据源进行协调的工作尤其有用。它还可以通过处理常规或耗时的活动,帮助员工专注于更高价值的任务。
只要在设计时加入合适的管控措施,智能体 AI 就能做到既安全又高效。重要的安全保障包括人工监督、明确的权限、数据安全、审计追踪、测试、审批工作流程以及对智能体可采取行动的限制。
资源
附注
- EPYC-068 - AMD EPYC 服务器 CPU 产品组合涵盖业界广泛的数据中心部署场景,从通用企业级、云、电信、中小企业和高性能计算 (HPC) 系统,到新兴的 AI 环境,包括沙盒式智能体 AI 部署和 GPU 头节点服务器。AMD EPYC 第六代平台进一步扩展了这一应用范围,其独特之处在于融合了高达 512 个线程的高核心数和线程密度、最高可达 16 通道 12.8 GT/s MRDIMM 内存支持的先进内存带宽、新一代 PCIe® Gen 6 连接,以及部分 SKU 最高可达 5 GHz 的加速频率。
- EPYC-068 - AMD EPYC 服务器 CPU 产品组合涵盖业界广泛的数据中心部署场景,从通用企业级、云、电信、中小企业和高性能计算 (HPC) 系统,到新兴的 AI 环境,包括沙盒式智能体 AI 部署和 GPU 头节点服务器。AMD EPYC 第六代平台进一步扩展了这一应用范围,其独特之处在于融合了高达 512 个线程的高核心数和线程密度、最高可达 16 通道 12.8 GT/s MRDIMM 内存支持的先进内存带宽、新一代 PCIe® Gen 6 连接,以及部分 SKU 最高可达 5 GHz 的加速频率。