Ejecución y entrega de LLM con LM Studio
Ejecuta y entrega LLM localmente con LM Studio para una fácil implementación del modelo y alojamiento de API locales compatibles con OpenAI.
Centro de desarrolladores de ROCm™ AI: IA local
Ejecuta modelos más pequeños localmente en las GPU AMD Radeon™
Experimenta con el uso de AMD ROCm™ para la programación de GPU AMD Radeon. Encuentra manuales de muestra, herramientas de desarrollo de IA locales, tutoriales, proyectos de código abierto, documentación y mucho más.
Instala ROCm:
Ejecuta ejemplos de cargas de trabajo de IA local
Prueba la pila de software ROCm para los casos de uso de IA en el perímetro.
Cargas de trabajo destacadas
Obtén acceso a las GPU AMD Radeon
¿Deseas probar la programación de GPU AMD Radeon con ROCm?
Experimenta con las potentes GPU AMD Radeon para el desarrollo de aplicaciones de IA locales según tu ubicación geográfica.
Recursos de aprendizaje
Explora más temas para encontrar recursos de aprendizaje relevantes que te ayuden a mantenerte actualizado con los últimos avances tecnológicos de AMD.
Comunidad y asistencia
Preguntas frecuentes
El desarrollo de aplicaciones de IA locales en GPU es ideal cuando necesitas baja latencia, gran capacidad de respuesta en tiempo real, control de costos o privacidad de datos sin depender de la nube. Al programar las GPU AMD Radeon con ROCm, los desarrolladores pueden ejecutar cargas de trabajo de IA localmente para casos de uso como los siguientes:
- LLM locales y copilotos para la generación aumentada de recuperación (RAG), asistencia en codificación y aplicaciones de IA privadas
- Flujos de trabajo creativos y de medios, como generación de imágenes, mejora de audio y video, y renderizado en 3D
- Gaming con tecnología de IA y gráficos en tiempo real
Las versiones posteriores de ROCm han recibido mejoras significativas en rendimiento. Consulta la página de resultados de rendimiento a fin de obtener un punto de referencia para evaluar cómo funcionan las GPU AMD Instinct con el software ROCm que ejecuta modelos de IA populares para la inferencia (por ejemplo, vLLM, xDiT) y el entrenamiento (por ejemplo, PyTorch, Megatron-LM y JAX MaxText).
Las GPU AMD Radeon RX, Radeon PRO y Radeon AI Pro compatibles con ROCm ofrecen una potente configuración e inferencia de IA local. PyTorch se puede instalar para ROCm en estas GPU mediante los métodos de instalación PIP (para Linux y Windows) o Docker (para Linux). El equipo de AMD ROCm contribuye al desarrollo de código abierto y colabora estrechamente con organizaciones de marcos, como PyTorch.
Registrarse para recibir noticias de ROCm
Suscríbete al boletín de ROCm para mantenerte al día sobre los últimos lanzamientos y consejos.