Inferencia rentable para la IA empresarial
A medida que la industria pasa de entrenar modelos a ejecutarlos, las CPU pueden realizar un doble trabajo: ejecutar al mismo tiempo cargas de trabajo de propósito general e IA.
Descripción general
Implementa modelos pequeños y medianos en las CPU para servidores AMD EPYC™ 9005, ya sea en las instalaciones o en la nube, y maximiza el valor de tus inversiones informáticas.
¿Qué hardware es mejor para diferentes cargas de trabajo de inferencia?
Para evitar el sobreaprovisionamiento y obtener el mejor retorno de tus inversiones en IA, es importante que combines los requisitos de tamaño y latencia de tu modelo con el hardware adecuado. Las generaciones más recientes de CPU para servidores AMD EPYC pueden manejar una variedad de tareas de IA junto con cargas de trabajo de propósito general. A medida que crecen los tamaños de los modelos, los volúmenes aumentan y las latencias más bajas se vuelven cruciales, las GPU se vuelven más eficientes y rentables.
| Carga de trabajo de inferencia de IA | Buena opción para… |
||
CPU |
CPU + GPU basada en PCIe |
Clústeres de GPU |
|
Procesamiento y clasificación de documentos |
✓ |
|
|
Minería de datos y análisis |
✓ |
|
✓ |
Simulaciones científicas |
✓ |
|
|
Traducción |
✓ |
|
|
Indexación |
✓ |
|
|
Moderación de contenido |
✓ |
|
|
Mantenimiento predictivo |
✓ |
|
✓ |
Asistentes virtuales |
✓ |
✓ |
|
Chatbots |
✓ |
✓ |
|
Agentes expertos |
✓ |
✓ |
|
Subtítulos de video |
✓ |
✓ |
|
Detección de fraude |
|
✓ |
✓ |
Toma de decisiones |
|
✓ |
✓ |
Precios dinámicos |
|
✓ |
✓ |
Filtrado de audio y video |
|
✓ |
✓ |
Operaciones bursátiles financieras |
|
|
✓ |
Telecomunicaciones y redes |
|
|
✓ |
Sistemas autónomos |
|
|
✓ |
Encuentra el mejor hardware de inferencia
Según los requisitos de tus cargas de trabajo, lo más adecuado para la inferencia es utilizar solo CPU con un alto recuento de núcleos o una combinación de CPU y GPU. Obtén más información sobre qué infraestructura se adapta a tus necesidades de tamaño y latencia de modelo.
Cinco cargas de trabajo de inferencia de IA que se ejecutan en una CPU
Las CPU para servidores AMD EPYC más recientes pueden cumplir con los requisitos de rendimiento de una variedad de cargas de trabajo de IA, como el aprendizaje automático clásico, la visión artificial y los agentes de IA. Obtén más información acerca de cinco cargas de trabajo populares que funcionan muy bien en las CPU.
Inferencia rápida y eficiente con las CPU para servidores AMD EPYC
Ya sea que se implementen en un servidor de solo CPU o se utilicen como host para las GPU que ejecutan modelos más grandes, las CPU para servidores AMD EPYC están diseñadas con las tecnologías de estándares abiertos más recientes para acelerar las cargas de trabajo de inferencia de IA empresarial.
Las CPU para servidores AMD EPYC de 5.ª generación superan a Intel Xeon 6 en inferencia, IA integral y aprendizaje automático
En las afirmaciones, se comparan las CPU para servidores AMD EPYC 9965 de 5.ª generación frente a Intel Xeon 6980P.
Hasta
89 %
Mejor rendimiento de chatbot en DeepSeek³
Hasta
33 %
Mejor rendimiento de inferencia para el caso de uso de traducción con Llama 3.1 8B⁴
Hasta
36 %
Mejor rendimiento de inferencia para el caso de uso de traducción en Llama 3.2 1B⁵
- Modelos de lenguaje pequeños
- Modelos de lenguaje medianos
- Grandes modelos de lenguaje
- Rendimiento de IA integral
- Aprendizaje automático clásico
Traducción en Llama 3.2 1B⁵
≈1,36 veces
Ensayo en Llama 3.2 1B⁵
≈1,27 veces
AMD EPYC 9965 de 5.ª generación
Intel Xeon 6980P
Traducción en Llama 3.1 8B⁴
≈1,33 veces
Resumen en GPT-J 6B⁶
~1,28x
AMD EPYC 9965 de 5.ª generación
Intel Xeon 6980P
Chatbot en DeepSeek-R1 671B³
~1,89x
Ensayo en DeepSeek-R1 671B³
≈1,71 veces
Resumen en DeepSeek-R1 671B³
≈1,41 veces
Reescritura en DeepSeek-R1 671B³
~1,20 veces
AMD EPYC 9965 de 5.ª generación
Intel Xeon 6980P
AMD EPYC 9965 de 5.ª generación
Intel Xeon 6980P
TPCx-AI@SF30 derivado¹⁰
≈1,70 veces
XGBoost (Higgs)¹¹
≈1,93 veces
Facebook AI Similarity Search (FAISS)¹²
≈1,60 veces
AMD EPYC 9965 de 5.ª generación
Intel Xeon 6980P
Preguntas frecuentes
Primero, determina tus necesidades de rendimiento. ¿Qué tan rápido necesitas respuestas en cuanto a minutos, segundos o milisegundos? ¿Qué tan grandes son los modelos que ejecutas en cuanto a parámetros? Es posible que cumplas con los requisitos de rendimiento simplemente si actualizas a una CPU AMD EPYC de 5.ª generación, lo que evita el costo del hardware de la GPU.
Si no necesitas respuestas en tiempo real, la inferencia por lotes es rentable para el análisis a gran escala y a largo plazo, por ejemplo, el análisis del rendimiento de campañas o el mantenimiento predictivo. La inferencia en tiempo real que admite casos de uso interactivos como el comercio financiero y los sistemas autónomos puede necesitar aceleradores de GPU. Mientras que las CPU por sí solas son excelentes para la inferencia por lotes, las GPU son las mejores para la inferencia en tiempo real.
Las CPU por sí solas ofrecen suficiente rendimiento para inferencia en modelos de hasta aproximadamente 20 000 millones de parámetros y para tiempos de respuesta de latencia media (segundos a minutos). Esto es suficiente para muchos asistentes de IA, chatbots y agentes. Considera agregar aceleradores de GPU cuando los modelos son más grandes o los tiempos de respuesta deben ser más rápidos que esto.
La respuesta corta es que depende. Extraer el máximo rendimiento para una carga de trabajo depende mucho de la experiencia y la carga de trabajo. Con eso en mente, algunas CPU para servidores AMD EPYC de 5.ª generación superan a Intel Xeon 6 comparable en inferencia para muchas cargas de trabajo populares de IA, incluidos los grandes modelos de lenguaje (DeepSeek-R1 671B)3, modelos de lenguaje medianos (Llama 3.1 8B4 y GPT-J 6B6) y modelos de lenguaje pequeños (Llama 3.2 1B)5.
Las CPU para servidores AMD EPYC incluyen AMD Infinity Guard, que proporciona un conjunto de funciones de seguridad basadas en chip7. AMD Infinity Guard incluye AMD Secure Encrypted Virtualization (AMD SEV), una solución informática confidencial ampliamente adoptada que utiliza VM (virtual machines, máquinas virtuales) confidenciales para ayudar a proteger los datos, los modelos de IA y las cargas de trabajo en tiempo de ejecución.
AMD potencia el espectro completo de IA
Adapta tus necesidades de infraestructura a tus ambiciones de IA. AMD ofrece la cartera más amplia de IA, plataformas basadas en estándares abiertos y un potente ecosistema, todo respaldado por el liderazgo en rendimiento.
Opciones de implementación de AMD EPYC
Amplio ecosistema para IA en entornos locales
Encuentra hardware de IA empresarial de nuestros socios OEM, incluidos servidores con un elevado recuento de núcleos y CPU de alta frecuencia, una selección de GPU de primera calidad y soluciones de red interoperables.
Escala la IA en la nube
Aprovecha al máximo tu nube y elige VM basadas en tecnología AMD para cargas de trabajo de IA.
Marcos de inferencia para el desarrollo de software abierto
Con AMD ZenDNN y el software AMD ROCm™, los desarrolladores pueden optimizar el rendimiento de sus aplicaciones mientras utilizan los marcos de trabajo de su elección.
Recursos
Suscríbete a la información del centro de datos de AMD
Solicita el contacto de un experto en ventas de AMD EPYC
Notas al pie
- 9xx5-169: resultados de rendimiento (útil) con restricciones de latencia de Llama-3.3-70B basados en pruebas internas de AMD realizadas al 14/5/2025. Ajustes: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de datos: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 solicitudes máximas (procesamiento por lotes dinámico), tiempo con restricciones de latencia hasta el primer token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados en tokens/s. AMD EPYC 9575F de 2P (128 núcleos totales, TDP de 400 W, sistema de producción, 1,5 TB [24 DDR5-6400 de 64 GB que se ejecutan a 6000 MT/s], 2 ConnectX-6 Lx MT2894 de 25 GbE, 4 SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB; SSD NVMe Micron 7450 MTFDKCC800TFS de 800 GB para el SO, Ubuntu 22.04.3 LTS, kernel = 5.15.0-117-generic, BIOS 3.2, SMT = desactivado, determinismo = potencia, mitigaciones = desactivadas) con ocho NVIDIA H100. Intel Xeon 8592+ de 2P (128 núcleos totales, TDP de 350 W, sistema de producción, 1 TB y 16 DDR5-5600 de 64 GB, 2 ConnectX-6 Lx [MT2894] de 25 GbE, 4 SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, SSD NVMe Micron 7450 MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT = desactivado, sesgo de rendimiento, mitigaciones = desactivadas) con 8 NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; relativo, NA 18,40 1,62 1,29. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. La información del TDP se obtuvo de ark.intel.com
- Tecnología de modelos de borrador paralelo (PARD) en Llama-3.2-1B-Instruct. Ver configuraciones: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: resultados de rendimiento de Deepseek-R1-671B basados en pruebas internas de AMD realizadas al 28/1/2025. Configuración: marco llama.cpp, cuantificación de 1,58 bits (UD_IQ1_S, MoE a 1,56 bits), tamaños de lote 1 y 4, instancias de 16 núcleos, ajustes de token de entrada/salida de casos de uso: [Chatbot = 128/128, ensayo = 128/1024, resumen = 1024/128, reescritura = 1024/1024]. AMD EPYC 9965 de 2P (384 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], 2 Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). AMD EPYC 9755 de 2P (256 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], 2 Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). Intel Xeon 6980P de 2P (256 núcleos totales; TDP de 500 W, sistema de producción, 3 TB [24 DDR5-6400 de 64 GB], 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic; SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Resultados: BS = 1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Ensayo 42,97 56,04 61,608 1,304 1,434 Resumen 44,99 59,39 62,304 1,32 1,385 Reescritura 41,8 68,44 55,08 1,637 1,318 BS = 4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Ensayo 67,89 93,68 116,064 1,38 1,71 Resumen 70,88 103,39 99,96 1,459 1,41 Reescritura 65 87,9 78,12 1,352 1,202. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-156: resultados de rendimiento de Llama3.1-8B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.1-8B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, AMD EPYC 9755 de 2P (256 núcleos totales) ZenDNN 5.0.1, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, Xeon 6980P de 2P (256 núcleos totales) ZenDNN 5.0.1, AMX activado, 1,5 TB de memoria (24 módulos DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = apagado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0 Resultados: CPU 6980P 9755 9965 Resumen 1 n/a1.093 Traducción 1 1.062 1.334 Ensayo 1 n/a 1.14 Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-166: resultados de rendimiento de Llama3.2-1B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.3-1B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.2. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9965 Resumen 1 1,213 Traducción 1 1,364 Ensayo 1 1,271. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-158: resultados de rendimiento de GPT-J-6B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de GPT-J-6B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9755 9965 1 1,034 1,279 Chatbot 1 0,975 1,163 Traducción 1 1,021 0,93 Ensayo 1 0,978 1,108 Subtítulos 1 0,913 1,12 General 1 0,983 1,114. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- GD-183A: las funciones de AMD Infinity Guard varían según las generaciones o las series de procesadores EPYC™ Los fabricantes de equipos originales (OEM) de servidores o proveedores de servicios en la nube deben activar las funciones de seguridad de Infinity Guard para poder usarlas. Comunícate con tu OEM o proveedor para confirmar la disponibilidad de estas funciones. Obtén más información sobre Infinity Guard en https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F: Comparación de SPECrate®2017_int_base basada en los puntajes publicados en www.spec.org al 4/12/2025. Los resultados y ajustes a continuación están en el siguiente formato: [procesador], [núcleos], [TDP], [precio de 1000 unidades en USD], [SPECrate®2017)_int_base score], [SPECrate® 2017)_int_base score/W de CPU], [SPECrate® 2017)_int_base score/precio de 1000 unidades en USD], [enlace a la puntuación]
AMD EPYC 9654 de 2P, 96 núcleos, 360 W, USD 8452, 1830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
AMD EPYC 9754 de 2P, 128 núcleos, 360 W, USD 10 631, 1950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
AMD EPYC 9755 de 2P, 128 núcleos, 500 W, USD 10 931, 2840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
AMD EPYC 9965 de 2P, 192 núcleos, 500 W, USD 11 988, 3230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
Intel Xeon 6780E de 2P, 144 núcleos, 330 W, USD 8513, 1410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
Intel Xeon 6980P de 2P, 128 núcleos, 500 W, USD 12 460, 2510, 5,020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
Intel Xeon Platinum 8592+ de 2P, 64 núcleos, 350 W, USD 11 600, 1130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. Precios de CPU AMD al 9/12/2025. Precios y W de CPU Intel en https://ark.intel.com/ al 9/12/2025
- 9xx5-001: basado en pruebas internas de AMD realizadas al 10/9/2024, mejora de rendimiento de media geométrica (IPC) a frecuencia fija. - Aumento de 1,369 veces (media geométrica) de la IPC de cargas de trabajo de servidor de ML/HPC generacional de EPYC de 5.ª generación con el uso de un conjunto selecto de 24 cargas de trabajo, y es la media geométrica de las cargas de trabajo de servidor de ML representativas (media geométrica) y las cargas de trabajo de servidor de HPC representativas (media geométrica). Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/ CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps; configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps utilizando el Determinismo de Rendimiento y el controlador de rendimiento en Ubuntu 22.04 con kernel OS 6.8.0-40-generic para todas las cargas de trabajo excepto LAMMPS, HPCG, NAMD, OpenFOAM y Gromacs, que usan 24.04 con kernel 6.8.0-40-generic. SPEC® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Obtén más información en spec.org.
- 9xx5-151: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 1/4/2025, con diversas instancias de MV. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI. AMD EPYC 9965 de 2P (AIUCpm total de 6067,53, 384 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu® 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), AMD EPYC 9755 de 2P (AIUCpm total de 4073,42, 256 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), Intel Xeon 6980P de 2P (AIUCpm total de 3550,50, 256 núcleos totales, TDP de 500 W, sistema de producción, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, 3,84 TB de SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Los resultados pueden variar en función de factores que incluyen, entre otros, las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-H son marcas comerciales registradas de Transaction Processing Performance Council.
- 9xx5-162: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de XGBoost: v1.7.2, conjunto de datos de Higgs, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo de la CPU 6980P 2P 400 1 9755 2P 436 1,090 9965 2P 771 1,928 Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-164: resultados de rendimiento de FAISS (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de FAISS: v1.8.0, conjunto de datos de sift1m, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo del 6980P de 2P 36,63 1 9755 de 2P 46,86 1,279 9965 de 2P 58,6 1,600. Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.
Notas al pie
- 9xx5-169: resultados de rendimiento (útil) con restricciones de latencia de Llama-3.3-70B basados en pruebas internas de AMD realizadas al 14/5/2025. Ajustes: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de datos: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 solicitudes máximas (procesamiento por lotes dinámico), tiempo con restricciones de latencia hasta el primer token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados en tokens/s. AMD EPYC 9575F de 2P (128 núcleos totales, TDP de 400 W, sistema de producción, 1,5 TB [24 DDR5-6400 de 64 GB que se ejecutan a 6000 MT/s], 2 ConnectX-6 Lx MT2894 de 25 GbE, 4 SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB; SSD NVMe Micron 7450 MTFDKCC800TFS de 800 GB para el SO, Ubuntu 22.04.3 LTS, kernel = 5.15.0-117-generic, BIOS 3.2, SMT = desactivado, determinismo = potencia, mitigaciones = desactivadas) con ocho NVIDIA H100. Intel Xeon 8592+ de 2P (128 núcleos totales, TDP de 350 W, sistema de producción, 1 TB y 16 DDR5-5600 de 64 GB, 2 ConnectX-6 Lx [MT2894] de 25 GbE, 4 SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, SSD NVMe Micron 7450 MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT = desactivado, sesgo de rendimiento, mitigaciones = desactivadas) con 8 NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; relativo, NA 18,40 1,62 1,29. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. La información del TDP se obtuvo de ark.intel.com
- Tecnología de modelos de borrador paralelo (PARD) en Llama-3.2-1B-Instruct. Ver configuraciones: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: resultados de rendimiento de Deepseek-R1-671B basados en pruebas internas de AMD realizadas al 28/1/2025. Configuración: marco llama.cpp, cuantificación de 1,58 bits (UD_IQ1_S, MoE a 1,56 bits), tamaños de lote 1 y 4, instancias de 16 núcleos, ajustes de token de entrada/salida de casos de uso: [Chatbot = 128/128, ensayo = 128/1024, resumen = 1024/128, reescritura = 1024/1024]. AMD EPYC 9965 de 2P (384 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], 2 Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). AMD EPYC 9755 de 2P (256 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], 2 Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). Intel Xeon 6980P de 2P (256 núcleos totales; TDP de 500 W, sistema de producción, 3 TB [24 DDR5-6400 de 64 GB], 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic; SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Resultados: BS = 1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Ensayo 42,97 56,04 61,608 1,304 1,434 Resumen 44,99 59,39 62,304 1,32 1,385 Reescritura 41,8 68,44 55,08 1,637 1,318 BS = 4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Ensayo 67,89 93,68 116,064 1,38 1,71 Resumen 70,88 103,39 99,96 1,459 1,41 Reescritura 65 87,9 78,12 1,352 1,202. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-156: resultados de rendimiento de Llama3.1-8B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.1-8B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, AMD EPYC 9755 de 2P (256 núcleos totales) ZenDNN 5.0.1, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, Xeon 6980P de 2P (256 núcleos totales) ZenDNN 5.0.1, AMX activado, 1,5 TB de memoria (24 módulos DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = apagado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0 Resultados: CPU 6980P 9755 9965 Resumen 1 n/a1.093 Traducción 1 1.062 1.334 Ensayo 1 n/a 1.14 Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-166: resultados de rendimiento de Llama3.2-1B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.3-1B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.2. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9965 Resumen 1 1,213 Traducción 1 1,364 Ensayo 1 1,271. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-158: resultados de rendimiento de GPT-J-6B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de GPT-J-6B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9755 9965 1 1,034 1,279 Chatbot 1 0,975 1,163 Traducción 1 1,021 0,93 Ensayo 1 0,978 1,108 Subtítulos 1 0,913 1,12 General 1 0,983 1,114. Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- GD-183A: las funciones de AMD Infinity Guard varían según las generaciones o las series de procesadores EPYC™ Los fabricantes de equipos originales (OEM) de servidores o proveedores de servicios en la nube deben activar las funciones de seguridad de Infinity Guard para poder usarlas. Comunícate con tu OEM o proveedor para confirmar la disponibilidad de estas funciones. Obtén más información sobre Infinity Guard en https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F: Comparación de SPECrate®2017_int_base basada en los puntajes publicados en www.spec.org al 4/12/2025. Los resultados y ajustes a continuación están en el siguiente formato: [procesador], [núcleos], [TDP], [precio de 1000 unidades en USD], [SPECrate®2017)_int_base score], [SPECrate® 2017)_int_base score/W de CPU], [SPECrate® 2017)_int_base score/precio de 1000 unidades en USD], [enlace a la puntuación]
AMD EPYC 9654 de 2P, 96 núcleos, 360 W, USD 8452, 1830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
AMD EPYC 9754 de 2P, 128 núcleos, 360 W, USD 10 631, 1950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
AMD EPYC 9755 de 2P, 128 núcleos, 500 W, USD 10 931, 2840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
AMD EPYC 9965 de 2P, 192 núcleos, 500 W, USD 11 988, 3230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
Intel Xeon 6780E de 2P, 144 núcleos, 330 W, USD 8513, 1410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
Intel Xeon 6980P de 2P, 128 núcleos, 500 W, USD 12 460, 2510, 5,020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
Intel Xeon Platinum 8592+ de 2P, 64 núcleos, 350 W, USD 11 600, 1130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. Precios de CPU AMD al 9/12/2025. Precios y W de CPU Intel en https://ark.intel.com/ al 9/12/2025 - 9xx5-001: basado en pruebas internas de AMD realizadas al 10/9/2024, mejora de rendimiento de media geométrica (IPC) a frecuencia fija. - Aumento de 1,369 veces (media geométrica) de la IPC de cargas de trabajo de servidor de ML/HPC generacional de EPYC de 5.ª generación con el uso de un conjunto selecto de 24 cargas de trabajo, y es la media geométrica de las cargas de trabajo de servidor de ML representativas (media geométrica) y las cargas de trabajo de servidor de HPC representativas (media geométrica). Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/ CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps; configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps utilizando el Determinismo de Rendimiento y el controlador de rendimiento en Ubuntu 22.04 con kernel OS 6.8.0-40-generic para todas las cargas de trabajo excepto LAMMPS, HPCG, NAMD, OpenFOAM y Gromacs, que usan 24.04 con kernel 6.8.0-40-generic. SPEC® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Obtén más información en spec.org.
- 9xx5-151: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 1/4/2025, con diversas instancias de MV. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI. AMD EPYC 9965 de 2P (AIUCpm total de 6067,53, 384 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu® 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), AMD EPYC 9755 de 2P (AIUCpm total de 4073,42, 256 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), Intel Xeon 6980P de 2P (AIUCpm total de 3550,50, 256 núcleos totales, TDP de 500 W, sistema de producción, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, 3,84 TB de SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Los resultados pueden variar en función de factores que incluyen, entre otros, las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-H son marcas comerciales registradas de Transaction Processing Performance Council.
- 9xx5-162: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de XGBoost: v1.7.2, conjunto de datos de Higgs, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo de la CPU 6980P 2P 400 1 9755 2P 436 1,090 9965 2P 771 1,928 Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-164: resultados de rendimiento de FAISS (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de FAISS: v1.8.0, conjunto de datos de sift1m, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo del 6980P de 2P 36,63 1 9755 de 2P 46,86 1,279 9965 de 2P 58,6 1,600. Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.