在 AMD Radeon GPU 上本地运行较小模型

尝试使用 AMD ROCm 进行 AMD Radeon GPU 编程。查找示例 Playbook、本地 AI 开发工具、教程、开源项目、文档等。

安装 ROCm:

运行示例本地 AI 工作负载

体验适用于边缘 AI 应用场景的 ROCm 软件栈。

精选工作负载

获取 AMD Radeon GPU 使用权限

想要尝试使用 ROCm 进行 AMD Radeon GPU 编程?

根据您所在地区,尝试使用高性能 AMD Radeon GPU 开发本地 AI 应用。

AMD Radeon™ AI PRO R9700 and R9700S

学习资源

探索更多主题及相关学习资源,及时掌握 AMD 最新技术进展。

社区与支持

常见问题解答

当您具有低延迟、实时响应、成本控制或数据隐私需求,而不想依赖云时,基于 GPU 开发本地 AI 应用是首选。 通过使用 ROCm 进行 AMD Radeon GPU 编程,开发者可在本地运行 AI 工作负载。适用场景包括:

  • 本地大语言模型和智能助手,涵盖检索增强生成 (RAG)、编码辅助和个人专属 AI 等应用场景
  • 创意创作和媒体工作流程,如图像生成、视频和音频增强以及 3D 渲染
  • AI 驱动的游戏和实时图形处理

ROCm 在不断迭代,每一个新版本都在性能上实现了显著提升。查看性能测试结果页面,即可获取参考基准,然后以此来评估搭配 ROCm 软件的 AMD Instinct GPU 在运行主流 AI 模型推理框架(例如 vLLM、xDiT)和训练框架(例如 PyTorch、Megatron-LM 和 JAX MaxText)时的性能表现。

AMD Radeon RX、Radeon PRO 和 Radeon AI Pro GPU 支持 ROCm,可提供强大的本地 AI 微调和推理性能。可使用 PIP(适用于 LinuxWindows)或 Docker(仅适用于 Linux),在这些 GPU 上安装适配 ROCm 的 PyTorch。AMD ROCm 团队积极参与开源开发项目,并与 PyTorch 等主流框架组织密切协作。