Descripción general

Optimizado para cargas de trabajo de IA

Algunos equipos necesitan entrenar o ajustar un modelo; otros, poner en producción un modelo abierto existente. ROCm es compatible con ambas opciones en GPU AMD, con flujos de trabajo de entrenamiento distribuido y software para optimizar, ejecutar y operar la inferencia de IA a gran escala.

Inferencia de IA

Inferencia de IA lista para producción con ROCm

Implementa los principales modelos abiertos en GPU de AMD con una pila de inferencia de código totalmente abierto. Empieza a trabajar rápidamente con contenedores preconfigurados y compatibilidad con marcos integrados.

Elige tu motor

Comienza a ejecutar modelos abiertos

AMD ROCm ofrece una pila de inferencia de extremo a extremo con compatibilidad con marcos de trabajo ascendentes, contenedores para vLLM o SGLang, y mucho más para que tu equipo pueda comenzar con el software de inferencia establecido antes de integrar un modelo en tu aplicación.

Menor tamaño

Mejora la memoria y la eficiencia de ejecución

ROCm combina paquetes de modelos cuantificados con ejecución nativa de baja precisión y kernels de ruta crítica de transformadores optimizados para reducir el esfuerzo de ajuste al tiempo que maximiza el rendimiento y la eficiencia para la ejecución real.

Satisface la creciente demanda

Escala la inferencia en GPU y nodos

Cuando un volumen de solicitud o modelo supera la capacidad de un servidor, distribuye la ejecución en GPU AMD Instinct™. Las implementaciones compatibles pueden separar el prellenado y la decodificación para que los equipos puedan asignar recursos a cada etapa.

Control de equipamiento

Opera la inferencia en Kubernetes

ROCm se integra en Kubernetes a través del operador de GPU de AMD, la telemetría integrada y una arquitectura modular de controladores, lo que admite la implementación automatizada, la observabilidad y una gestión del ciclo de vida predecible en entornos seguros y aislados.

Explorar ROCm Infera

Entrenamiento de IA

Entrenamiento de IA de principio a fin a escala en GPU de AMD

Desde flujos de trabajo unificados hasta confiabilidad a escala de clúster, Primus simplifica y acelera el entrenamiento de modelos grandes.

Flexibilidad del marco de trabajo

Inicia ejecuciones de entrenamiento que puedes repetir

Comienza el entrenamiento en GPU AMD Instinct™ con flujos de trabajo unificados a través de las fórmulas de AMD Primus para Megatron-LM, PyTorch TorchTitan o JAX MaxText. Usa una sola CLI y configuraciones reutilizables para volver a ejecutar experimentos y comparar cambios.

Mantén las GPU ocupadas

Aborda los cuellos de botella de entrenamiento de transformadores

Primus mejora el rendimiento del entrenamiento y la utilización de GPU con kernels optimizados y aceleración basada en la comunicación. Los equipos pueden utilizar estas capacidades a través de la pila de Primus completa o conectar Primus Turbo en entornos de entrenamiento personalizados.

Mantén los trabajos en movimiento

Entrenamiento distribuido y escalable

Cuando un modelo supera la capacidad de un servidor, Primus ayuda a distribuir el entrenamiento en nodos y GPU AMD Instinct™. Primus-SaFE utiliza la ubicación basada en la topología y los reintentos automáticos para ayudar a que los trabajos de ejecución prolongada se recuperen de las interrupciones a medida que aumentan los clústeres.

Revisa y realiza un seguimiento

Operaciones de entrenamiento listas para la empresa

Primus ayuda a los equipos a evaluar el estado de los nodos antes de iniciar trabajos de entrenamiento grandes. Durante el entrenamiento, la telemetría y los paneles proporcionan visibilidad del rendimiento y el estado del clúster, lo que ayuda a los equipos a identificar los problemas y solucionarlos con mayor rapidez.

Explorar AMD Primus

Noticias más recientes

Lee acerca de los avances más recientes en el desarrollo de la IA mediante ROCm.

Ver todo

Hardware compatible

AMD Radeon Graphics

Tarjetas gráficas AMD Radeon

Algunas funciones de ROCm son compatibles con tarjetas gráficas AMD Radeon específicas¹. Descubre tarjetas gráficas profesionales de última generación.

Descubre Radeon PRO Descubrir Radeon RX

Recursos para desarrolladores

ROCm Developer screen shot

Centro de desarrolladores de ROCm

Comienza a desarrollar aplicaciones aceleradas por GPU de AMD. Visita el Centro de desarrolladores de ROCm para obtener acceso a lo más reciente en guías de usuario, contenedores, videos de capacitación, webinars y más.

Comenzar

Newsletter de ROCm

Recibe las últimas noticias de ROCm.

Mantente informado
Notas al pie

©2024 Advanced Micro Devices, Inc. Todos los derechos reservados. AMD, el logotipo de la flecha de AMD, AMD ROCm, AMD Instinct, EPYC, Radeon Instinct y sus combinaciones son marcas registradas de Advanced Micro Devices, Inc. PyTorch es una marca comercial o marca comercial registrada de PyTorch. Los otros nombres de productos utilizados en esta publicación se presentan solo con fines de identificación y pueden ser marcas comerciales de sus respectivas empresas.

  1. Para obtener una lista completa de las piezas Radeon compatibles con ROCm, visita https://rocm.docs.amd.com/en/latest/reference/gpu-arch-specs.html