AI 应在何处运行？

AI 的运行位置至关重要

如今，AI 的运行位置已不再局限于云端：它还可以运行在员工的个人电脑、边缘端、客户自有的数据中心等位置，或通过云服务运行。随着企业不断探索 AI 的应用场景，最佳的部署位置取决于每项工作负载的具体需求：包括数据访问权限、响应性能、可靠的连接性、充足的算力以及可控的成本。

对于合作伙伴而言，机遇在于将这些需求转化为可落地的基础设施推荐方案。例如，本地文档助手与服务于多个站点的视频分析系统可能需要采用不同的方案。应从工作负载本身出发，进而确定该 AI 工作负载的运行位置。

AI 工作的类型同样重要。训练或微调大型模型通常需要数据中心或云端提供庞大的算力支持。客户日常使用的许多 AI 场景，例如总结文档、辅助员工处理常规任务等都涉及推理，即利用已有模型来处理新请求。根据模型和软件的不同，这类工作可以在 PC、边缘端或集中式基础设施上完成。理解这一差异，有助于合作伙伴弄清楚，客户在哪些场景下拥有灵活性，以及哪些工作负载要求更为苛刻，从而需要特定的解决方案。

可向客户提出的五个问题

在推荐产品之前，首先要明确工作负载的具体需求。以下五个问题有助于合作伙伴确定合适的部署方案，并向客户阐明其中的权衡取舍。

• 数据是否需要保留在本地？敏感信息、行业规则及企业政策，通常更倾向于在设备端或客户自有基础设施内进行处理。
  
  
• 工作负载需要多快的响应速度？涉及实时视频、机械设备或交互式辅助的任务，通常更适合在靠近数据源的地方进行推理。
  
  
• 是否需要在无可靠网络连接的情况下运行？在偏远站点、移动办公场景或受限环境中，AI 系统可能需要在断网或网络不稳定的情况下保持正常运行。
  
  
• 有多少用户或系统需要访问该服务？一名员工使用本地助手与整个企业共用一个模型有着天壤之别，何况需求还会随时间变化。
  
  
• 随着使用量的增长，成本将如何变化？通过云端 API 运行 AI 可能会产生持续的基于 Token 的计费；而本地 AI 则需将硬件和运营成本纳入考量。

随着 AI 融入日常工作，最后这一点尤为重要。云端 AI API 可能按 Token 使用量计费，而企业订阅可能采用按席位定价或其他定价模式。在基于使用量的 API 模式下，随着请求量和 Token 消耗的增加，成本也会随之上升。

使用 AMD Token 经济学计算器了解 AI 成本

您可以使用 AMD Token 经济学计算器，对比支持的本地和云端 AI 场景的预估成本。只需输入客户的团队规模、预期使用量、所选云端模型及分析周期，即可了解随着 AI 应用范围的扩大，成本将如何变化。

该计算器会估算您所选时间段内的总成本，并将云端 API 费用与在 AMD 设备上运行支持的 AI 工作负载，或是本地与云端混合方案的成本进行对比，其中包含运营和硬件成本的估算。对于合作伙伴而言，这是一种直观便捷的方式，可以向客户展示，随着 AI 使用量增长，不同部署选择对成本带来的影响。

可将计算结果作为初步参考。在推荐部署方案前，请务必确认模型和软件的兼容性，并考虑许可、IT 支持等计算器未涵盖的其他成本。

设备端、边缘、数据中心还是云端？

一旦明确了工作负载的需求，就更容易确定其最佳运行位置。

当员工需要支持的应用在本地处理数据，或在无持续网络连接的情况下运行时，应考虑设备端 AI。搭载 AMD 锐龙 AI PRO 处理器的系统集成了 CPU、GPU 和 NPU，可支持从生产力工具到文档辅助等各类本地 AI 应用。本地处理不仅能减少支持的工作负载对网络连接的依赖，还能避免出现网络往返延迟。

了解更多关于企业级 AI PC 和混合 AI 的信息

当摄像头、传感器或设备需要在靠近数据生成位置进行处理时，应考虑边缘 AI。AMD 锐龙 AI 嵌入式 X100 系列处理器集成了 CPU、GPU 和 NPU 加速，专为需要在处理本地 AI 的同时应对其他高负载任务的系统而设计。将更多处理工作留在本地，可以减少在网络中传输的原始数据量，从而缓解带宽压力，并使时间敏感型系统无需等待远程服务即可快速响应。

当需要处理大型模型、共享服务或高强度训练，且所需资源超出单台设备的能力时，应考虑集中式数据中心基础设施。AMD EPYC（霄龙）服务器 CPU 和 AMD Instinct GPU 能够支持高强度推理、模型训练以及维持企业级 AI 系统运行所需的各种服务。此外，AMD Enterprise AI Reference Stack 通过开放的软件基础，帮助企业在 AMD 基础设施上部署和管理 AI。

获取 AMD EPYC（霄龙）服务器 CPU 在企业 AI 中应用的详细信息

当客户需要访问托管模型，或需要随需求变化灵活调整算力时，应考虑云服务。对于某些企业而言，从成本和规模的角度来看，将大型 AI 工作负载保留在自有数据中心更为合理。但对于工作负载波动较大，或认为不值得在内部维持庞大资源的企业来说，云服务则是更优的选择。

混合 AI 的优势

同一个 AI 工作流中的不同任务，可能适合在不同的环境中运行。混合方案允许客户将合适的工作保留在本地，同时利用集中式或云端资源来处理需要额外算力或不同模型的任务。

AMD 提供了一个极具参考价值的案例，展示了在合适的应用中，有多少 AI 工作可以在本地处理。在《Advancing AI 2026》一文中，AMD 描述了一个客户支持演示：在搭载 AMD 锐龙 AI 处理器的系统上运行 Lemonade 软件，该系统能够在设备端处理常规的模型请求，并将更复杂的请求发送到云端模型。在该特定演示中，AMD 报告称 69% 的 Token 处理在本地完成，31% 分载至云端。

这些数据仅来自单一演示，每位客户的实际分配比例会有所不同，但该案例的价值在于展示了应用如何针对单个请求做出明智决策：本地 AI 负责处理其擅长的任务，在需要时再调用更大的云端模型。这种方式不仅将数据处理和安全性放在首位，还有助于降低持续的云计算成本。

AMD 锐龙 AI 处理器可支持员工设备上的工作，AMD 锐龙 AI 嵌入式处理器可将推理能力引入现场系统，而 AMD EPYC（霄龙）服务器 CPU 与 AMD Instinct GPU 则能支持集中式工作负载。这种组合可提供更高灵活性，使客户能够基于当前业务以及短期和长期的 AI 需求来搭建架构。

帮助客户找到最佳匹配方案

本文开头提到的五个问题是合作伙伴很好的切入点。在需要即时响应或离线使用的场景中，设备端和边缘 AI 非常适用；对于必须保留在本地、不能上云的数据，可以在设备端或本地基础设施内进行处理。而对于大型共享模型、高强度训练，或随需求增长的算力，则应考察数据中心和云方案。如果客户的需求因任务而异，建议从一开始就探索混合架构。

缩小选择范围后，建议与客户一起评估成本。如果讨论涉及本地 AI PC，可以使用 AMD Token 经济学计算器来对比在本地运行工作负载与通过云端 API 运行的潜在成本。在此基础上，确保客户选择的 AI 模型和软件与硬件有效契合，并详细沟通日常管理和支持该架构的具体方案。

在下一次与客户沟通时，从一个明确定义的 AI 工作负载开始。使用上述五个问题来确定合适的部署方案，在适用时使用 AMD Token 经济学计算器对比预估成本，并在推荐硬件之前验证模型和软件的兼容性。如需将 AMD 处理器、加速器和软件与客户的工作负载需求进行匹配，请与您的 AMD 销售代表联系。