在 AMD Radeon GPU 上本地运行较小模型

尝试使用 AMD ROCm 进行 AMD Radeon GPU 编程。查找示例 Playbook、本地 AI 开发工具、教程、开源项目、文档等。

安装 ROCm:

运行示例本地 AI 工作负载

体验适用于边缘 AI 应用场景的 ROCm 软件栈。

精选工作负载

Lemonade 入门

使用开源 AI 服务器 Lemonade 在本地运行生成式 AI 模型,轻松完成本地部署与实验。

Ollama 入门

使用 Ollama 在本地运行大型语言模型,几分钟内即可通过终端、桌面应用或 REST API 开启聊天。

获取 AMD Radeon GPU 使用权限

想要尝试使用 ROCm 进行 AMD Radeon GPU 编程?

根据您所在地区,尝试使用高性能 AMD Radeon GPU 开发本地 AI 应用。

AMD Radeon™ AI PRO R9700 and R9700S

学习资源

探索更多主题及相关学习资源,及时掌握 AMD 最新技术进展。

文档

了解基于 AMD Instinct GPU 运行的 ROCm 工具、编译器、运行时,以及调试、部署和编排等相关技术。

社区与支持

加入 AMD AI 开发者计划

获取云信用值、与 AMD 工程师沟通交流、提前获得活动邀约、斩获专业认可机会、参与会员专享抽奖活动、发布技术内容,并解锁专属培训和研讨会

常见问题解答

当您具有低延迟、实时响应、成本控制或数据隐私需求,而不想依赖云时,基于 GPU 开发本地 AI 应用是首选。 通过使用 ROCm 进行 AMD Radeon GPU 编程,开发者可在本地运行 AI 工作负载。适用场景包括:

  • 本地大语言模型和智能助手,涵盖检索增强生成 (RAG)、编码辅助和个人专属 AI 等应用场景
  • 创意创作和媒体工作流程,如图像生成、视频和音频增强以及 3D 渲染
  • AI 驱动的游戏和实时图形处理

ROCm 在不断迭代,每一个新版本都在性能上实现了显著提升。查看性能测试结果页面,即可获取参考基准,然后以此来评估搭配 ROCm 软件的 AMD Instinct GPU 在运行主流 AI 模型推理框架(例如 vLLM、xDiT)和训练框架(例如 PyTorch、Megatron-LM 和 JAX MaxText)时的性能表现。

AMD Radeon RX、Radeon PRO 和 Radeon AI Pro GPU 支持 ROCm,可提供强大的本地 AI 微调和推理性能。可使用 PIP(适用于 LinuxWindows)或 Docker(仅适用于 Linux),在这些 GPU 上安装适配 ROCm 的 PyTorch。AMD ROCm 团队积极参与开源开发项目,并与 PyTorch 等主流框架组织密切协作。