Ajusta el hardware de AMD a tus necesidades de IA
Obtén una descripción general de la cartera de AMD para la IA, desde las CPU para servidores de AMD EPYC, y descubre cómo usar diferentes tipos de hardware en todo el flujo de trabajo de IA.
Las tecnologías de IA tienen un gran impacto en los sectores
Independientemente del tamaño o la escala de tus implementaciones de IA, las CPU para servidores AMD EPYC te brindan una base de alto rendimiento y eficiencia energética para la IA empresarial y las cargas de trabajo de propósito general.
Descubre por qué las CPU para servidores AMD EPYC son las mejores CPU para la IA empresarial9
Las CPU para servidores AMD EPYC de 5.ª generación hacen frente a las demandas de IA con opciones que incluyen recuentos de núcleos altos o alta frecuencia, mucha memoria y ancho de banda de E/S y compatibilidad con instrucciones AVX-512. Las tecnologías de seguridad integradas de AMD Infinity Guard te ayudan a mantener los datos protegidos hasta la capa del chip7.
Cómo construir centros de datos para IA
A fin de crear un centro de datos listo para la IA, necesitarás una base de procesamiento de propósito general diseñada para la seguridad, aumentada con GPU según sea necesario, para que se adapte a tus requisitos de rendimiento y carga de trabajo. A continuación, te mostramos cómo optimizar tu próximo centro de datos para que sea una potencia multitarea con capacidad de IA.
Paso 1
Consolidar servidores existentes
Hay un límite en el espacio y la energía de tu centro de datos. Al reemplazar los servidores antiguos con CPU nuevas de alta densidad, puedes consolidarte en menos servidores, reducir el consumo de energía relacionado y liberar espacio para la IA.
Consolidar 8 en 1
Cámbiate de los servidores Intel® “Cascade Lake” de la era del 2020 a los servidores con tecnología de CPU AMD EPYC de 5.ª generación.
Hasta
86 %
Menos servidores¹
Hasta
69 %
Menos energía¹
Hasta
41 %
Menor TCO a tres años¹
Catorce servidores basados en CPU AMD EPYC 9965 pueden ofrecer el mismo rendimiento de enteros que 100 servidores antiguos que ejecutan CPU Intel Xeon Platinum 8280.
Obtén un mejor rendimiento que con las últimas CPU Intel® Xeon® 6
Hasta
29 %
Más rendimiento de enteros²
Hasta
66 %
Mejor ahorro de energía³
Las CPU AMD EPYC 9965 de 5.ª generación superan a las CPU Intel Xeon 6 6980P más recientes con “núcleos de rendimiento”.
Paso 2
Utiliza CPU para admitir nuevas cargas de trabajo de IA
Muchas cargas de trabajo de inferencia se ejecutan en CPU y no necesitan hardware del acelerador especial. Si planeas ejecutar modelos pequeños o medianos o tienes tareas de IA ocasionales, las CPU para servidores EPYC de 5.ª generación con un elevado recuento de núcleos pueden satisfacer tus requisitos de rendimiento.
Hasta
70 %
Mejor rendimiento de IA integral que Intel Xeon 6⁴
Las CPU AMD EPYC 9965 superan a las CPU Intel Xeon 6 6980P en TPCxAI.
Paso 3
Mejora con GPU según sea necesario
Es posible que necesites una aceleración de IA dedicada para el entrenamiento, la inferencia en modelos grandes, las implementaciones a gran escala o casos de uso de baja latencia. Comienza con CPU para servidores AMD EPYC 9005 de alta frecuencia como CPU host para aprovechar la alta frecuencia de núcleos y la gran capacidad de memoria. Agrega GPU como los aceleradores AMD Instinct™, disponibles en formato PCIe.
Hasta
≈10 veces
Mejor inferencia con restricciones de latencia en NVIDIA H100 con AMD EPYC 9575F en comparación con Intel Xeon 8592+⁵
Hasta
11 %
Mejor inferencia en AMD Instinct MI300X con AMD EPYC 9575F en comparación con Intel Xeon Platinum 8460Y+⁶
Paso 4
Aprovecha las funciones de seguridad integradas
La protección de los datos debe ser una consideración en cada implementación de IA. Las CPU para servidores AMD EPYC están diseñadas con base en la seguridad a fin de ser resistentes a muchos ataques sofisticados. AMD Infinity Guard7, integrado a nivel de chip, brinda protección contra amenazas internas y externas para mantener los datos seguros.
Paso 5
Crea la combinación adecuada entre infraestructura local y en la nube
Asegúrate de poder escalar rápidamente con una infraestructura de IA flexible que tenga la combinación adecuada de recursos locales y de la nube. Puedes encontrar CPU para servidores AMD EPYC en cientos de opciones de hardware y más de mil instancias de nube pública.
Se ejecutan en las instalaciones
Más de 350
Plataformas de hardware
Escala en la nube
Más de 1000
Instancias de nube pública
Comienza a prepararte para la IA con las CPU para servidores AMD EPYC
Preguntas frecuentes
Antes de invertir en hardware de IA, los arquitectos de centros de datos deben evaluar sus cargas de trabajo de IA y sus requisitos de rendimiento. En algunos casos, las CPU para servidores AMD EPYC de propósito general pueden proporcionar suficiente rendimiento para la inferencia, lo que evita la necesidad de comprar GPU.
En general, las CPU para servidores AMD EPYC ofrecen un rendimiento suficiente para modelos de hasta 20 000 millones de parámetros. Esto incluye muchos grandes modelos de lenguaje (LLM) populares y otras aplicaciones de IA generativa.
Las CPU para servidores AMD EPYC son ideales para muchos casos de uso de inferencia. Estos incluyen el aprendizaje automático clásico, la visión artificial, el análisis de gráficos con uso intensivo de memoria, los sistemas de recomendación, el procesamiento del lenguaje natural y los modelos de IA generativa pequeños a medianos, como los LLM. También son ideales para los agentes de IA con ajuste experto y el procesamiento previo colaborativo basado en indicaciones, los cuales son populares en los modelos de generación aumentada de recuperación (RAG).
Las CPU para servidores AMD EPYC de 5.ª generación ofrecen una mejora del 70 % en rendimiento de IA integral en comparación con Intel Xeon 64. También ofrecen un rendimiento de chatbot hasta un 89 % mejor en DeepSeek con AMD EPYC 9965 en comparación con Intel Xeon 6980P8 y un rendimiento sorprendente para los LLM.
Si necesitas cumplir con requisitos de ubicación o privacidad de los datos, o tienes requisitos estrictos para una baja latencia, considera ejecutar la IA en las instalaciones. Si necesitas la flexibilidad para escalar, ya sea a fin de aumentar o reducir recursos rápidamente, la nube es una gran opción para los recursos a pedido.
Elegir la CPU adecuada para la IA
Con las CPU para servidores AMD EPYC, puedes elegir entre una amplia gama de opciones de núcleos, frecuencia, memoria y energía. Obtendrás los mejores resultados si ajustas la CPU en función de las cargas de trabajo de IA que prevés ejecutar con mayor frecuencia.
Obtén un rendimiento superior para flujos de trabajo de IA integrales
Para aplicaciones de IA y aprendizaje automático del mundo real, AMD EPYC 9965 supera al Intel Xeon 6980P.
Hasta
70 %
Mejor rendimiento de IA integral⁴
Hasta
60 %
Mejor rendimiento en la búsqueda de similitudes con Facebook AI¹⁰
Hasta
93 %
Mejor rendimiento en el aprendizaje automático¹¹
Rendimiento impresionante de CPU para grandes modelos de lenguaje (LLM)
Implementa con confianza chatbots, agentes de búsqueda inteligente y otras aplicaciones de IA generativa con rendimiento para LLM de hasta miles de millones de parámetros. El AMD EPYC 9965 supera al Intel Xeon 6980P.
Hasta
89 %
Mejor rendimiento de chatbot en DeepSeek⁴
Hasta
33 %
Mejor rendimiento en modelos de lenguaje medianos en Llama 3.1 88¹²
Hasta
28 %
Mejor rendimiento para el caso de uso de resumen en GPT-J 6B¹³
Hasta
36 %
Mejor rendimiento para el caso de uso de traducción en Llama 3.2 1B¹⁴
AMD potencia el espectro completo de IA
Adapta tus necesidades de infraestructura a tus ambiciones de IA. AMD ofrece la cartera más amplia de IA, plataformas basadas en estándares abiertos y un potente ecosistema, todo respaldado por el liderazgo en rendimiento.
Software abierto para el desarrollo flexible de IA
Con AMD ZenDNN y el software AMD ROCm™, los desarrolladores pueden optimizar el rendimiento de sus aplicaciones mientras utilizan los marcos de trabajo de su elección.
Opciones de implementación de AMD EPYC
Amplio ecosistema para IA en entornos locales
Encuentra hardware de IA empresarial de nuestros socios OEM, incluidos servidores con un elevado recuento de núcleos y CPU de alta frecuencia, una selección de GPU de primera calidad y soluciones de red interoperables.
Escala la IA en la nube
Saca el máximo provecho de tu nube y elige máquinas virtuales (VM) basadas en tecnología AMD para cargas de trabajo de IA.
Recursos
Suscríbete a la información del centro de datos de AMD
Solicita el contacto de un experto en ventas de AMD EPYC
Notas al pie
- 9xxTCO-019[DM1] [MK2]: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.53, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 391 000 unidades de rendimiento SPECrate2017_int_base al 30 de septiembre del 2025. En este análisis, se compara un servidor con tecnología AMD EPYC 9965 de 2P y 192 núcleos con un puntaje SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf, con un servidor Intel Xeon basado en Xeon 6980P de 2P y 128 núcleos con un puntaje SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf; frente a un servidor Intel Xeon heredado basado en Platinum 8280 de 2P y 28 núcleos con un puntaje SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf. Las estimaciones del impacto ambiental se calcularon según 2025 International Country Specific Electricity Factors y se pueden encontrar en https://www.carbondi.com/#electricity-factors/. La Calculadora de equivalencias de gases de efecto invernadero de la Agencia de Protección Medioambiental de los Estados Unidos utilizada en este análisis se obtuvo el 4/9/2024 y se puede consultar en https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Para obtener más información, consulta https://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A: comparación de SPECrate® 2017_int_base basada en los puntajes publicados en www.spec.org al 9/5/2025. AMD EPYC 9965 de 2P (3230 SPECrate®2017_fp_base, 384 núcleos totales, TDP de 500 W, costo de CPU de USD 14 813), 6,460 SPECrate®2017_fp_base/W de CPU, 0,218 SPECrate®2017_fp_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html) AMD EPYC 9755 de 2P (2840 SPECrate®2017_fp_base, 256 núcleos totales, TDP de 500 W, costo de CPU de USD 12 984), 5,680 SPECrate®2017_fp_base/W de CPU, 0,219 SPECrate®2017_int_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html) Intel Xeon 6980P de 2P (2510 SPECrate®2017_int_base, 256 núcleos totales, TDP de 500 W, costo de CPU de USD 12 460), 5,020 SPECrate®2017_int_base/W de CPU, 0,201 SPECrate®2017_int_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP y precios de CPU Intel en https://ark.intel.com/ al 17/4/2025.
- 9xx5-134: Comparación de SPECpower_ssj® 2008 basada en los puntajes que se publicaron en www.spec.org al 30/4/2025. AMD EPYC 9965 de 2P (35 920 ssj_ops/watt, 384 núcleos totales, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) AMD EPYC 9755 de 2P (29 950 ssj_ops/watt, 256 núcleos totales, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) Intel Xeon 6980P de 2P (21 679 ssj_ops/watt, 256 núcleos totales, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® y SPECpower® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información.
- 9xx5-151: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 1/4/2025, con diversas instancias de MV. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI. AMD EPYC 9965 de 2P (AIUCpm total de 6067,53, 384 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu® 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), AMD EPYC 9755 de 2P (AIUCpm total de 4073,42, 256 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), Intel Xeon 6980P de 2P (AIUCpm total de 3550,50, 256 núcleos totales, TDP de 500 W, sistema de producción, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, 3,84 TB de SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Los resultados pueden variar en función de factores que incluyen, entre otros, las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-H son marcas comerciales registradas de Transaction Processing Performance Council.
- 9xx5-169: resultados de rendimiento (útil) con restricciones de latencia de Llama-3.3-70B basados en pruebas internas de AMD realizadas al 14/5/2025. Ajustes: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de datos: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 solicitudes máximas (procesamiento por lotes dinámico), tiempo con restricciones de latencia hasta el primer token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados en tokens/s. AMD EPYC 9575F de 2P (128 núcleos totales, TDP de 400 W, sistema de producción, 1,5 TB [24 DDR5-6400 de 64 GB que se ejecutan a 6000 MT/s], dos ConnectX-6 Lx MT2894 de 25 GbE, cuatro SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB; SSD NVMe Micron 7450 MTFDKCC800TFS de 800 GB para el SO, Ubuntu 22.04.3 LTS, kernel = 5.15.0-117-generic, BIOS 3.2, SMT = desactivado, determinismo = potencia, mitigaciones = desactivadas) con ocho NVIDIA H100. Intel Xeon 8592+ de 2P (128 núcleos totales, TDP de 350 W, sistema de producción, 1 TB [16 DDR5-5600 de 64 GB], dos ConnectX-6 Lx [MT2894] de 25 GbE, cuatro SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, SSD NVMe Micron 7450 MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT = desactivado, sesgo de rendimiento, mitigaciones = desactivadas) con ocho NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; relativo, NA 18,40 1,62 1,29. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS. La información del TDP se obtuvo de ark.intel.com
- 9xx5-013: resultados oficiales del puntaje de inferencias MLPerf™ v4.1 Llama2-70B-99.9 tokens/s de servidor y tokens/s sin conexión obtenidos en https://mlcommons.org/benchmarks/inference-datacenter/ el 1/9/2024, de las siguientes entradas: 4.1-0070 (vista previa) y 4.1.0022. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulta www.mlcommons.org para obtener más información.
- GD-183A: las funciones de AMD Infinity Guard varían según la generación o serie del procesador EPYC™. Los fabricantes de equipos originales (OEM) de servidores o proveedores de servicios en la nube deben activar las funciones de seguridad de Infinity Guard para poder usarlas. Comunícate con tu OEM o proveedor para confirmar la disponibilidad de estas funciones. Obtén más información sobre Infinity Guard en https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A: resultados de rendimiento de Deepseek-R1-671B basados en pruebas internas de AMD realizadas al 28/1/2025. Configuración: marco llama.cpp, cuantificación de 1,58 bits (UD_IQ1_S, MoE a 1,56 bits), tamaños de lote 1 y 4, instancias de 16 núcleos, ajustes de token de entrada/salida de casos de uso: [Chatbot = 128/128, ensayo = 128/1024, resumen = 1024/128, reescritura = 1024/1024]. AMD EPYC 9965 de 2P (384 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], dos Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). AMD EPYC 9755 de 2P (256 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], dos Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). Intel Xeon 6980P de 2P (256 núcleos totales; TDP de 500 W, sistema de producción, 3 TB [24 DDR5-6400 de 64 GB], cuatro puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic; SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Resultados: BS = 1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Ensayo 42,97 56,04 61,608 1,304 1,434 Resumen 44,99 59,39 62,304 1,32 1,385 Reescritura 41,8 68,44 55,08 1,637 1,318 BS = 4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Ensayo 67,89 93,68 116,064 1,38 1,71 Resumen 70,88 103,39 99,96 1,459 1,41 Reescritura 65 87,9 78,12 1,352 1,202. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- Comparación basada en la densidad de subprocesos, el rendimiento, las características, la tecnología de procesos y las funciones de seguridad integradas de servidores de envíos actuales al 10/10/2024. Las CPU EPYC Serie 9005 ofrecen la densidad de subprocesos más alta [EPYC-025B], lideran la industria con más de 500 récords mundiales de rendimiento [EPYC-023F] con un rendimiento empresarial con récord mundial de rendimiento de Java® en operaciones por segundo [EPYCWR-20241010-260], liderazgo superior en computación de alto rendimiento con desempeño de rendimiento de punto flotante [EPYCWR-2024-1010-381], rendimiento de IA integral con rendimiento TPCx-AI [EPYCWR-2024-1010-525] y las máximas puntuaciones de eficiencia energética [EPYCWR-20241010-326]. La Serie EPYC de 5.ª generación también tiene un 50 % más de canales de memoria DDR5 [EPYC-033C] con un 70 % más de ancho de banda de memoria [EPYC-032C] y admite un 70 % más de carriles PCIe® Gen 5 para el rendimiento de E/S [EPYC-035C], tiene hasta 5 veces de caché L3/núcleo [EPYC-043C] para un acceso más rápido a los datos, utiliza tecnología avanzada de 3 a 4 nm y ofrece funciones de seguridad de cifrado de memoria seguro + virtualización cifrada segura (SEV) + estado cifrado de SEV + paginación anidada segura de SEV. Consulta el informe técnico sobre la arquitectura AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) para obtener más información.
- 9xx5-164: resultados de rendimiento de FAISS (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de FAISS: v1.8.0, conjunto de datos de sift1m, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo del 6980P de 2P 36,63 1 9755 de 2P 46,86 1,279 9965 de 2P 58,6 1,600. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-162: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de XGBoost: v1.7.2, conjunto de datos de Higgs, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 Gb a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo de la CPU 6980P 2P 400 1 9755 2P 436 1,090 9965 2P 771 1,928 Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-156: resultados de rendimiento de Llama3.1-8B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.1-8B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, AMD EPYC 9755 de 2P (256 núcleos totales) ZenDNN 5.0.1, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, Xeon 6980P de 2P (256 núcleos totales) ZenDNN 5.0.1, AMX activado, 1,5 TB de memoria (24 módulos DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = apagado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0 Resultados: CPU 6980P 9755 9965 Resumen 1 n/a1.093 Traducción 1 1.062 1.334 Ensayo 1 n/a 1.14 Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-158: resultados de rendimiento de GPT-J-6B basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de GPT-J-6B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9755 9965 1 1,034 1,279 Chatbot 1 0,975 1,163 Traducción 1 1,021 0,93 Ensayo 1 0,978 1,108 Subtítulos 1 0,913 1,12 General 1 0,983 1,114. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS
- 9xx5-166: resultados de rendimiento de Llama3.2-1B basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de Llama3.3-1B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gbps, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.2. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9965 Resumen 1 1,213 Traducción 1 1,364 Ensayo 1 1,271. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.
Notas al pie
- 9xxTCO-019[DM1] [MK2]: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.53, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 391 000 unidades de rendimiento SPECrate2017_int_base al 30 de septiembre del 2025. En este análisis, se compara un servidor con tecnología AMD EPYC 9965 de 2P y 192 núcleos con un puntaje SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf, con un servidor Intel Xeon basado en Xeon 6980P de 2P y 128 núcleos con un puntaje SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf; frente a un servidor Intel Xeon heredado basado en Platinum 8280 de 2P y 28 núcleos con un puntaje SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf. Las estimaciones del impacto ambiental se calcularon según 2025 International Country Specific Electricity Factors y se pueden encontrar en https://www.carbondi.com/#electricity-factors/. La Calculadora de equivalencias de gases de efecto invernadero de la Agencia de Protección Medioambiental de los Estados Unidos utilizada en este análisis se obtuvo el 4/9/2024 y se puede consultar en https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Para obtener más información, consulta https://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A: comparación de SPECrate® 2017_int_base basada en los puntajes publicados en www.spec.org al 9/5/2025. AMD EPYC 9965 de 2P (3230 SPECrate®2017_fp_base, 384 núcleos totales, TDP de 500 W, costo de CPU de USD 14 813), 6,460 SPECrate®2017_fp_base/W de CPU, 0,218 SPECrate®2017_fp_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html) AMD EPYC 9755 de 2P (2840 SPECrate®2017_fp_base, 256 núcleos totales, TDP de 500 W, costo de CPU de USD 12 984), 5,680 SPECrate®2017_fp_base/W de CPU, 0,219 SPECrate®2017_int_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html) Intel Xeon 6980P de 2P (2510 SPECrate®2017_int_base, 256 núcleos totales, TDP de 500 W, costo de CPU de USD 12 460), 5,020 SPECrate®2017_int_base/W de CPU, 0,201 SPECrate®2017_int_base/costo de CPU, (https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP y precios de CPU Intel en https://ark.intel.com/ al 17/4/2025.
- 9xx5-134: Comparación de SPECpower_ssj® 2008 basada en los puntajes que se publicaron en www.spec.org al 30/4/2025. AMD EPYC 9965 de 2P (35 920 ssj_ops/watt, 384 núcleos totales, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) AMD EPYC 9755 de 2P (29 950 ssj_ops/watt, 256 núcleos totales, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) Intel Xeon 6980P de 2P (21 679 ssj_ops/watt, 256 núcleos totales, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® y SPECpower® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información.
- 9xx5-151: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 1/4/2025, con diversas instancias de MV. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI. AMD EPYC 9965 de 2P (AIUCpm total de 6067,53, 384 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu® 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), AMD EPYC 9755 de 2P (AIUCpm total de 4073,42, 256 núcleos totales, TDP de 500 W, sistema de referencia de AMD, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 2 Mellanox CX-7 (MT2910) de 40 GbE, 3,84 TB de SSD NVMe Samsung MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, determinismo = potencia, mitigaciones = activadas), Intel Xeon 6980P de 2P (AIUCpm total de 3550,50, 256 núcleos totales, TDP de 500 W, sistema de producción, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), 4 puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, 3,84 TB de SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07, Ubuntu 24.04 LTS kernel 6.13, SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Los resultados pueden variar en función de factores que incluyen, entre otros, las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-H son marcas comerciales registradas de Transaction Processing Performance Council.
- 9xx5-169: resultados de rendimiento (útil) con restricciones de latencia de Llama-3.3-70B basados en pruebas internas de AMD realizadas al 14/5/2025. Ajustes: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de datos: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 solicitudes máximas (procesamiento por lotes dinámico), tiempo con restricciones de latencia hasta el primer token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados en tokens/s. AMD EPYC 9575F de 2P (128 núcleos totales, TDP de 400 W, sistema de producción, 1,5 TB [24 DDR5-6400 de 64 GB que se ejecutan a 6000 MT/s], dos ConnectX-6 Lx MT2894 de 25 GbE, cuatro SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB; SSD NVMe Micron 7450 MTFDKCC800TFS de 800 GB para el SO, Ubuntu 22.04.3 LTS, kernel = 5.15.0-117-generic, BIOS 3.2, SMT = desactivado, determinismo = potencia, mitigaciones = desactivadas) con ocho NVIDIA H100. Intel Xeon 8592+ de 2P (128 núcleos totales, TDP de 350 W, sistema de producción, 1 TB [16 DDR5-5600 de 64 GB], dos ConnectX-6 Lx [MT2894] de 25 GbE, cuatro SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, SSD NVMe Micron 7450 MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT = desactivado, sesgo de rendimiento, mitigaciones = desactivadas) con ocho NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; relativo, NA 18,40 1,62 1,29. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS. La información del TDP se obtuvo de ark.intel.com
- 9xx5-013: resultados oficiales del puntaje de inferencias MLPerf™ v4.1 Llama2-70B-99.9 tokens/s de servidor y tokens/s sin conexión obtenidos en https://mlcommons.org/benchmarks/inference-datacenter/ el 1/9/2024, de las siguientes entradas: 4.1-0070 (vista previa) y 4.1.0022. El nombre y el logotipo de MLPerf™ son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulta www.mlcommons.org para obtener más información.
- GD-183A: las funciones de AMD Infinity Guard varían según la generación o serie del procesador EPYC™. Los fabricantes de equipos originales (OEM) de servidores o proveedores de servicios en la nube deben activar las funciones de seguridad de Infinity Guard para poder usarlas. Comunícate con tu OEM o proveedor para confirmar la disponibilidad de estas funciones. Obtén más información sobre Infinity Guard en https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A: resultados de rendimiento de Deepseek-R1-671B basados en pruebas internas de AMD realizadas al 28/1/2025. Configuración: marco llama.cpp, cuantificación de 1,58 bits (UD_IQ1_S, MoE a 1,56 bits), tamaños de lote 1 y 4, instancias de 16 núcleos, ajustes de token de entrada/salida de casos de uso: [Chatbot = 128/128, ensayo = 128/1024, resumen = 1024/128, reescritura = 1024/1024]. AMD EPYC 9965 de 2P (384 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], dos Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). AMD EPYC 9755 de 2P (256 núcleos totales, TDP de 500 W, sistema de referencia, 3 TB [24 DDR5-6400 de 128 GB], dos Mellanox CX-7 [MT2910] de 40 GbE, SSD NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-generic, SMT = activado, determinismo = potencia, mitigaciones = activadas). Intel Xeon 6980P de 2P (256 núcleos totales; TDP de 500 W, sistema de producción, 3 TB [24 DDR5-6400 de 64 GB], cuatro puertos PCIe Ethernet Gigabit Broadcom NetXtreme BCM5719 de 1 GbE, SSD NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-generic; SMT = activado, sesgo de rendimiento, mitigaciones = activadas). Resultados: BS = 1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47,31 61,88 70,344 1,308 1,487 Ensayo 42,97 56,04 61,608 1,304 1,434 Resumen 44,99 59,39 62,304 1,32 1,385 Reescritura 41,8 68,44 55,08 1,637 1,318 BS = 4 6980P 9755 Rel9755 Rel9965 Chatbot 76,01 104,46 143,496 1,374 1,888 Ensayo 67,89 93,68 116,064 1,38 1,71 Resumen 70,88 103,39 99,96 1,459 1,41 Reescritura 65 87,9 78,12 1,352 1,202. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- Comparación basada en la densidad de subprocesos, el rendimiento, las características, la tecnología de procesos y las funciones de seguridad integradas de servidores de envíos actuales al 10/10/2024. Las CPU EPYC Serie 9005 ofrecen la densidad de subprocesos más alta [EPYC-025B], lideran la industria con más de 500 récords mundiales de rendimiento [EPYC-023F] con un rendimiento empresarial con récord mundial de rendimiento de Java® en operaciones por segundo [EPYCWR-20241010-260], liderazgo superior en computación de alto rendimiento con desempeño de rendimiento de punto flotante [EPYCWR-2024-1010-381], rendimiento de IA integral con rendimiento TPCx-AI [EPYCWR-2024-1010-525] y las máximas puntuaciones de eficiencia energética [EPYCWR-20241010-326]. La Serie EPYC de 5.ª generación también tiene un 50 % más de canales de memoria DDR5 [EPYC-033C] con un 70 % más de ancho de banda de memoria [EPYC-032C] y admite un 70 % más de carriles PCIe® Gen 5 para el rendimiento de E/S [EPYC-035C], tiene hasta 5 veces de caché L3/núcleo [EPYC-043C] para un acceso más rápido a los datos, utiliza tecnología avanzada de 3 a 4 nm y ofrece funciones de seguridad de cifrado de memoria seguro + virtualización cifrada segura (SEV) + estado cifrado de SEV + paginación anidada segura de SEV. Consulta el informe técnico sobre la arquitectura AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) para obtener más información.
- 9xx5-164: resultados de rendimiento de FAISS (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de FAISS: v1.8.0, conjunto de datos de sift1m, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo del 6980P de 2P 36,63 1 9755 de 2P 46,86 1,279 9965 de 2P 58,6 1,600. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-162: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de XGBoost: v1.7.2, conjunto de datos de Higgs, instancias de 32 núcleos, AMD EPYC 9965 de 2P FP32 (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 Gb a 6000 MT/s), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB a 6000 MT/s), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, kernel Linux 5.15, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1. Xeon 6980P de 2P (256 núcleos totales), 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento). Resultados: Rendimiento relativo de la CPU 6980P 2P 400 1 9755 2P 436 1,090 9965 2P 771 1,928 Los resultados pueden variar debido a factores como la configuración del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-156: resultados de rendimiento de Llama3.1-8B basados en pruebas internas de AMD realizadas al 8/4/2025. Configuraciones de Llama3.1-8B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, AMD EPYC 9755 de 2P (256 núcleos totales) ZenDNN 5.0.1, 1,5 TB de memoria (24 módulos DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, 3,84 TB de SSD Samsung MZWLO3T8HCLS-00A07, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = apagado, mitigaciones = activadas, determinismo = potencia), NPS = 1, Xeon 6980P de 2P (256 núcleos totales) ZenDNN 5.0.1, AMX activado, 1,5 TB de memoria (24 módulos DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = apagado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0 Resultados: CPU 6980P 9755 9965 Resumen 1 n/a1.093 Traducción 1 1.062 1.334 Ensayo 1 n/a 1.14 Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-158: resultados de rendimiento de GPT-J-6B basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de GPT-J-6B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. AMD EPYC 9755 de 2P (256 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gb/s, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.12. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9755 9965 1 1,034 1,279 Chatbot 1 0,975 1,163 Traducción 1 1,021 0,93 Ensayo 1 0,978 1,108 Subtítulos 1 0,913 1,12 General 1 0,983 1,114. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS
- 9xx5-166: resultados de rendimiento de Llama3.2-1B basados en pruebas internas de AMD realizadas al 8/4/2025. Ajustes de Llama3.3-1B: BF16, tamaño de lote 32, instancias de 32 núcleos, configuraciones de tokens de entrada/salida de casos de uso: [resumen = 1024/128, chatbot = 128/128, traducción = 1024/1024, artículo = 128/1024]. AMD EPYC 9965 de 2P (384 núcleos totales), 1,5 TB (24 DDR5-6400 de 64 GB), NIC de 1,0 Gbps, SSD Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desactivado, mitigaciones = activadas, determinismo = potencia), NPS = 1, ZenDNN 5.0.1, Python 3.10.2. Xeon 6980P de 2P (256 núcleos totales), AMX activado, 1,5 TB (24 DDR5-8800 MRDIMM de 64 GB), controlador Ethernet X710 de 1,0 Gb/s para 10GBASE-T, Micron 7450 MTFDKBG1T9TFR de 2 TB, Ubuntu 22.04.1 LTS, Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desactivado, mitigaciones = activadas, sesgo de rendimiento), IPEX 2.6.0, Python 3.12.3. Resultados: CPU 6980P 9965 Resumen 1 1,213 Traducción 1 1,364 Ensayo 1 1,271. Los resultados pueden variar debido a factores como los ajustes del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.