Los procesadores AMD EPYC™ ayudan a maximizar el valor de las grandes inversiones en GPU

Los aceleradores de GPU se han convertido en la herramienta principal de la IA moderna, ya que se destacan en el entrenamiento de modelos grandes y complejos y son compatibles con una inferencia eficiente en tiempo real y a escala. Sin embargo, maximizar el potencial de tu inversión en GPU requiere un potente socio de CPU.

¿Por qué usar GPU para cargas de trabajo de IA?

Las GPU son la herramienta adecuada para muchas cargas de trabajo de IA.

  • Entrenamiento de IA: las GPU aceleran el entrenamiento de modelos grandes y medianos con sus capacidades de procesamiento paralelo.
  • Implementaciones de IA dedicadas: las GPU ofrecen la velocidad y escalabilidad necesarias para la inferencia en tiempo real en implementaciones a gran escala

La ventaja de la CPU:

combinar la potencia de las GPU con la CPU adecuada puede mejorar significativamente la eficiencia de IA para determinadas cargas de trabajo. Busca estas funciones clave de la CPU:

  • Procesadores EPYC de alta frecuencia: maneja extensas tareas de preparación y posprocesamiento de datos de forma rápida y eficiente.
  • Gran tamaño de caché: facilita el acceso rápido a conjuntos de datos masivos.
  • Alto ancho de banda de memoria y E/S de alto rendimiento: permite un intercambio de datos rápido y sin interrupciones entre la CPU y la GPU.
  • Núcleos de bajo consumo energético: libera energía para el uso de la GPU y puede ayudar a reducir el consumo general de energía.
  • Compatibilidad con GPU y ecosistema de software: Permite un rendimiento optimizado, una eficiencia y un funcionamiento sin interrupciones.
GPU System with AMD EPYC and Instinct

Procesadores AMD EPYC 9005

Los procesadores de alta frecuencia AMD EPYC Serie 9005 son una opción ideal para desbloquear el verdadero potencial de tus GPU para grandes cargas de trabajo de la IA. Como CPU host, ayudan a garantizar que las GPU dispongan de los datos adecuados en el momento oportuno para seguir procesándolos, lo que es fundamental para lograr el mejor rendimiento de las cargas de trabajo de la IA y la mayor eficiencia del sistema.  La alta frecuencia de su núcleo y la gran capacidad de memoria son factores clave que hacen que los procesadores de alta frecuencia AMD EPYC se destaquen. Para entender cómo estos factores clave proporcionan un mayor rendimiento de GPU, lee el artículo.

Maximiza el rendimiento de la GPU con los procesadores AMD EPYC
Conoce las cinco razones por las que AMD EPYC es una gran CPU host

Aplicaciones e industrias

Las soluciones basadas en aceleradores de GPU impulsadas por CPU AMD EPYC potencian muchas de las supercomputadoras e instancias en la nube más rápidas del mundo, lo que ofrece a las empresas una plataforma consolidada para optimizar cargas de trabajo basadas en datos y lograr resultados innovadores en IA.

Procesadores AMD EPYC Serie 9005: La elección correcta para maximizar el valor de las grandes inversiones en GPU

Las CPU desempeñan un papel crucial en la organización y sincronización de las transferencias de datos entre las GPU, el manejo de los gastos generales de lanzamiento del kernel y la gestión de la preparación de datos. Esta función de “conductor” ayuda a que las GPU funcionen a la máxima eficiencia.

Optimiza el valor de inversión de la GPU con CPU de alto rendimiento

Muchas cargas de trabajo de IA se benefician de las altas velocidades de reloj de la CPU para mejorar el rendimiento de la GPU mediante la optimización del procesamiento, la transferencia y la ejecución simultánea de datos, potenciando la eficiencia de la GPU. El EPYC 9575F está diseñado específicamente para ser un procesador de nodo de host de IA de alto rendimiento que se ejecuta a velocidades de hasta 5 GHz.

Lee el artículo
Aprende cómo en este documento técnico

Comparación de servidores 2P con aceleradores 8 GPU

CPU de nodo de host de AMD en comparación con Intel con GPU AMD Instinct
Evaluación comparativa de inferencia MLPerf® v4.1 Llama 2-70B¹
Ocho AMD Instinct™ MI300X + 2P EPYC de 5.ª generación 9575F (64 núcleos, 5 GHz)
1,11 veces
Ocho AMD Instinct™ MI300X + 2P Xeon 8460Y+ (40 núcleos, 3,7 GHz)
1,0 veces

Inferencia: evaluación comparativa de inferencia Llama3.1-70B (BF16)²
Ocho NVIDIA H100 + 2P EPYC de 5.ª generación 9575F (64 núcleos)
~1,20 veces
Ocho NVIDIA H100 + 2P Xeon 8592+ (64 núcleos)
1,0 veces
Entrenamiento: evaluación comparativa de inferencia Llama3.1-8B (FP8)³
Ocho NVIDIA H100 + 2P EPYC de 5.ª generación 9575F (64 núcleos)
~1,15 veces
Ocho NVIDIA H100 + 2P Xeon 8592+ (64 núcleos)
1,0 veces

Implementa la IA empresarial de manera eficiente

Los procesadores AMD EPYC de 5.a generación que combinan alto rendimiento, bajo consumo energético, manejo eficiente de datos y capacidades efectivas de administración de energía permiten que tu infraestructura de IA opere al rendimiento máximo mientras optimiza el consumo energético y los costos.

Los procesadores AMD EPYC potencian servidores de bajo consumo energético, lo que brinda un rendimiento excepcional y permite reducir los costos de energía. Úsalos con confianza para crear soluciones de bajo consumo energético y ayudar a optimizar tu recorrido por la IA.

En los procesadores AMD EPYC Serie 9005, la administración de energía AMD Infinity ofrece un excelente rendimiento predeterminado y permite ajustar el comportamiento específico de la carga de trabajo.

Abstract illustration with glowing blue lines

Tranquilidad: Adopta la IA con soluciones de confianza

Elige entre varias soluciones aceleradas por GPU certificadas o validadas y alojadas en CPU AMD EPYC para sobrecargar tus cargas de trabajo de IA.

Consulta las soluciones AMD Instinct

¿Utilizas otras GPU? Pregunta por otras soluciones con tecnología de CPU AMD EPYC disponibles de los principales proveedores de soluciones de plataforma, como Asus, Dell, Gigabyte, HPE, Lenovo y Supermicro.

Ecosistema creciente de opciones de instancias de CPU AMD EPYC + GPU con IA/ML en la nube

Solicita instancias que combinen la CPU AMD EPYC con GPU para cargas de trabajo con IA/ML de los principales proveedores en la nube, incluidos AWS, Azure, Google, IBM Cloud y OCI.

Obtén más información
server room photo

Recursos

Aceleradores AMD Instinct

Especialmente adecuado para impulsar tus cargas de trabajo de IA más exigentes.

Obtener más información

Informes sobre IA empresarial de AMD EPYC

Encuentra documentación sobre AMD y sus socios que describe la IA y la innovación en el aprendizaje automático mediante CPU y GPU

Visita la Biblioteca

Podcasts

Escucha a los tecnólogos líderes de AMD y la industria que analizan los temas de tendencia más recientes sobre servidores, computación en la nube, IA, HPC y más.

Visita el archivo
Notas al pie
  1. 9xx5-013: resultados oficiales del puntaje de inferencias MLPerf™ v4.1 Llama2-70B-99.9 tokens/s de servidor y tokens/s sin conexión obtenidos en https://mlcommons.org/benchmarks/inference-datacenter/ el 1/9/2024, de las siguientes entradas: 4.1-0070 (vista previa) y 4.1.0022. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulta www.mlcommons.org para obtener más información.
  2. 9xx5-014: resultados de rendimiento de inferencias de Llama3.1-70B basados en pruebas internas de AMD realizadas al 1/9/2024. Configuraciones de Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configuraciones de tokens de entrada/salida (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados en tokens/segundo.2P AMD EPYC 9575F (128 núcleos totales) con ocho NVIDIA H100 80 GB HBM3, 24 DDR5-6000 de 64 GB de 1,5 TB, 1,0 Gbps 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches), 2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho NVIDIA H100 80 GB HBM3, 16 DDR5-5600 de 64 GB de 1 TB, 3,2 TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (rendimiento máximo, SR-IOV=On), tamaño de lote de tokens de E/S, EMR relativo de Turin 128/128 1024 814.678 1101.966 1.353 128/2048 1024 2120.664 2331.776 1.1 2048/128 96 114.954 146.187 1.272 2048/2048 64 333.325 354.208 1.063 Para un aumento promedio del rendimiento de 1,197 veces. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
  3. 9xx5-015: resultados de las pruebas de entrenamiento de Llama3.1-8B (BF16, longitud máxima de secuencia 1024) basados en pruebas internas de AMD realizadas al 5/9/2024. Configuraciones de Llama3.1-8B: longitud máxima de secuencia 1024, BF16, Docker: huggingface/transformers-pytorch-gpu:latest 2P AMD EPYC 9575F (128 núcleos totales) con ocho NVIDIA H100 80 GB HBM3, 24 DDR5-6000 de 64 GB de 1,5 TB, 1,0 Gbps 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches), para 31,79 muestras de entrenamiento por segundo2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho NVIDIA H100 80 GB HBM3, 16 DDR5-5600 de 64 GB de 1 TB, 3,2 TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance  ), BIOS 2.1, (máximo rendimiento, SR-IOV=On), para 27,74 muestras de entrenamiento por segundo Para un aumento promedio del rendimiento de 1,146.  Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.