Lamini
Mediante servidores GPU Supermicro con AMD Instinct™ MI300X, Lamini es capaz de ofrecer optimización de LLM a alta velocidad.
Impulsa el éxito de tu negocio con la tecnología adecuada para todas las cargas de trabajo de IA
A medida que se acelera el ritmo y la urgencia de la innovación en IA, Supermicro y AMD trabajan juntos para ayudarte a permanecer a la vanguardia. Implementa servidores Supermicro listos para rack con procesadores AMD EPYC™ y aceleradores AMD Instinct™ a fin de liberar el rendimiento, la rentabilidad y la escalabilidad para las enormes cargas de trabajo de IA actuales y futuras.
Up to
1.64x
Faster
Supera los desafíos de la IA con aceleración de GPU
En conjunto, Supermicro y AMD ofrecen un ecosistema abierto y sólido y la potencia innovadora necesaria para el ciclo de vida de la IA: todo esto con rendimiento y eficiencia líderes para satisfacer tus necesidades únicas.
Los procesadores AMD EPYC pueden usarse para modelos de IA y cargas de trabajo a pequeña escala en los cuales la proximidad a los datos es importante, mientras que los aceleradores AMD Instinct son excelentes para modelos grandes e implementaciones de IA dedicadas que exigen un rendimiento muy alto. En comparación con Nvidia H100 HGX, la plataforma AMD Instinct puede ofrecer un aumento en el rendimiento de hasta 1,6 veces cuando se ejecuta una inferencia en LLM como BLOOM 176B1.
Evoluciona fácilmente para la IA
Descubre cómo los servidores Supermicro H13, equipados con tecnología de aceleradores AMD Instinct M1300X, optimizan las implementaciones a escala para los modelos de IA más grandes.
Aumenta el rendimiento con la integración de CPU/GPU
Descubre cómo los sistemas Supermicro H13, equipados con tecnología de APU AMD Instinct M1300A, combinan la potencia de los aceleradores AMD Instinct y los procesadores AMD EPYC con memoria compartida para impulsar tus iniciativas de IA.
Nota: Resultados de la prueba para el sistema del cuadro blanco; consulta www.supermicro.com/aplus para obtener información sobre el producto o la plataforma Supermicro.
Moderniza tu infraestructura y haz espacio para la IA
Para aprovechar al máximo los presupuestos de TI, muchos centros de datos ya están superando los límites de espacio disponible, potencia o ambos. Los servidores Supermicro con procesadores AMD EPYC ofrecen el rendimiento y la eficiencia líderes para consolidar tus cargas de trabajo principales, lo que libera espacio, potencia y refrigeración a fin de admitir nuevas cargas de trabajo de IA cruciales para el negocio.
Reemplaza 100 servidores antiguos basados en CPU Intel® Xeon® Platinum 8280 de 2P por 14 servidores nuevos basados en CPU AMD EPYC 99652
Hasta un 87 % menos servidores
Hasta un 71 % menos energía
Hasta un 67 % menos en el TCO a 3 años
Ayuda a reducir el costo y el TCO con los servidores basados en CPU AMD EPYC 9965 frente a servidores basados en CPU Intel® Xeon® Platinum 8592+2
Hasta un 63 % menos servidores
Hasta un 45 % menos energía
Hasta un 44 % menos en el TCO a 3 años
Nota: Resultados de la prueba para el sistema del cuadro blanco; consulta www.supermicro.com/aplus para obtener información sobre el producto o la plataforma Supermicro.
¿Por qué modernizar tu infraestructura ahora? La perspectiva de IDC
Descubre cómo la IA impulsa la demanda de servidores con una configuración enriquecida y por qué IDC sostiene que es imperativo adoptar una pila de tecnología moderna ahora.
AMD y Supermicro facilitan el trabajo pesado de la inferencia
Descúbrelo por ti mismo cuando pruebes tus cargas de trabajo de IA solicitando una prueba de servidores Supermicro H14 con tecnología de procesadores AMD EPYC.
Historias de clientes
Recursos
Newsletter y solicitud de contacto
Suscríbete a la información del centro de datos de AMD
Solicita el contacto de un experto en ventas de AMD EPYC™ y Supermicro
Notas al pie
- MI300-34: Rendimiento de generación de token mediante DeepSpeed Inference con el modelo Bloom-176b con una longitud de secuencia de entrada de 1948 tokens y una longitud de secuencia de salida de 100 tokens. Además, un tamaño de lote ajustado para producir el rendimiento más alto en cada comparación de sistema con base en pruebas internas de AMD con un contenedor de docker personalizado para cada sistema al 17/11/2023.
Configuraciones:
Servidor con tecnología de CPU de 2P Intel Xeon Platinum 8480C con 8 GPU AMD Instinct™ MI300X 192 GB 750 W, versión preliminar de ROCm™ 6.0, Ubuntu 22.04.2.
en comparación con
Un Nvidia DGX H100 con 2 procesadores Intel Xeon Platinum 8480CL, 8 GPU Nvidia H100 80 GB, 700 W, CUDA 12.0, Ubuntu 22.04.3.
En esta prueba, se utilizaron 8 GPU en cada sistema.
Los fabricantes de servidores pueden variar las configuraciones, lo que arroja resultados diferentes. El rendimiento puede cambiar según el uso de los controladores más recientes y las optimizaciones.
- 9xx5TCO-001B: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.12, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 39 100 unidades de rendimiento SPECrate2017_int_base al 10 de octubre del 2024. Esta estimación compara un servidor heredado basado en 2P Intel Xeon Platinum 8280 de 28 núcleos con un puntaje de 391 frente a un servidor con tecnología 2P EPYC 9965 (de 192 núcleos) con un puntaje de 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) junto con una actualización comparativa a un servidor basado en 2P Intel Xeon Platinum 8592+ (de 64 núcleos) con un puntaje de 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). El puntaje real de SPECrate® 2017_int_base para 2P EPYC 9965 variará según las publicaciones del OEM (Original Equipment Manufacturer, fabricante de equipo original). Estimaciones de impacto ambiental realizadas aprovechando estos datos mediante los factores de electricidad correspondientes al país o la región que se especifican en 2024 International Country Specific Electricity Factors 10, julio del 2024, y en la “Calculadora de equivalencias de gases de efecto invernadero” (Greenhouse Gas Equivalencies Calculator) de la Agencia de Protección Medioambiental de los Estados Unidos.
Notas al pie
- MI300-34: Rendimiento de generación de token mediante DeepSpeed Inference con el modelo Bloom-176b con una longitud de secuencia de entrada de 1948 tokens y una longitud de secuencia de salida de 100 tokens. Además, un tamaño de lote ajustado para producir el rendimiento más alto en cada comparación de sistema con base en pruebas internas de AMD con un contenedor de docker personalizado para cada sistema al 17/11/2023.
Configuraciones:
Servidor con tecnología de CPU de 2P Intel Xeon Platinum 8480C con 8 GPU AMD Instinct™ MI300X 192 GB 750 W, versión preliminar de ROCm™ 6.0, Ubuntu 22.04.2.
en comparación con
Un Nvidia DGX H100 con 2 procesadores Intel Xeon Platinum 8480CL, 8 GPU Nvidia H100 80 GB, 700 W, CUDA 12.0, Ubuntu 22.04.3.
En esta prueba, se utilizaron 8 GPU en cada sistema.
Los fabricantes de servidores pueden variar las configuraciones, lo que arroja resultados diferentes. El rendimiento puede cambiar según el uso de los controladores más recientes y las optimizaciones. - 9xx5TCO-001B: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.12, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 39 100 unidades de rendimiento SPECrate2017_int_base al 10 de octubre del 2024. Esta estimación compara un servidor heredado basado en 2P Intel Xeon Platinum 8280 de 28 núcleos con un puntaje de 391 frente a un servidor con tecnología 2P EPYC 9965 (de 192 núcleos) con un puntaje de 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) junto con una actualización comparativa a un servidor basado en 2P Intel Xeon Platinum 8592+ (de 64 núcleos) con un puntaje de 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). El puntaje real de SPECrate® 2017_int_base para 2P EPYC 9965 variará según las publicaciones del OEM (Original Equipment Manufacturer, fabricante de equipo original). Estimaciones de impacto ambiental realizadas aprovechando estos datos mediante los factores de electricidad correspondientes al país o la región que se especifican en 2024 International Country Specific Electricity Factors 10, julio del 2024, y en la “Calculadora de equivalencias de gases de efecto invernadero” (Greenhouse Gas Equivalencies Calculator) de la Agencia de Protección Medioambiental de los Estados Unidos.