Lamini
En utilisant les serveurs GPU Supermicro équipés de cœurs graphiques AMD Instinct™ MI300X, Lamini est en mesure de proposer des ajustements LLM très rapidement.
Assurez la réussite de votre entreprise avec la technologie adaptée à toutes les charges de travail d'IA
Alors que le rythme (et l'urgence) de l'innovation en matière d'IA s'accélère, Supermicro et AMD travaillent ensemble pour vous aider à garder une longueur d'avance. Déployez des serveurs pour rack Supermicro avec les processeurs AMD EPYC™ et les accélérateurs AMD Instinct™ pour booster les performances, la rentabilité et l'évolutivité nécessaires aux charges de travail d'IA massives d'aujourd'hui et de demain.
Up to
1.64x
Faster
Relevez les défis de l'IA avec l'accélération par GPU
Ensemble, Supermicro et AMD offrent un écosystème ouvert et robuste et la puissance révolutionnaire nécessaire au cycle de vie de l'IA, le tout avec des performances et une efficacité de pointe pour répondre à vos besoins uniques.
Les processeurs AMD EPYC peuvent être utilisés pour les modèles et charges de travail d'IA à petite échelle où la proximité avec les données est importante, tandis que les accélérateurs AMD Instinct sont particulièrement adaptés aux grands modèles et aux déploiements d'IA dédiés exigeant des performances très élevées. Par rapport à la Nvidia H100 HGX, la plateforme AMD Instinct peut offrir un débit jusqu'à 1,6 fois supérieur lors de l'exécution d'inférence sur des LLM comme BLOOM 176B.1
Évoluez facilement vers une intelligence artificielle (IA)
Découvrez comment les serveurs Supermicro H13, équipés des accélérateurs AMD Instinct M1300X, rationalisent les déploiements à grande échelle pour les plus grands modèles d'IA.
Améliorez les performances avec l'intégration CPU/GPU
Découvrez comment les systèmes Supermicro H13, équipés des APU AMD Instinct M1300A, combinent la puissance des accélérateurs AMD Instinct et des processeurs AMD EPYC avec une mémoire partagée pour booster vos initiatives en matière d'intelligence artificielle.
Remarque : Résultats des tests pour le système de boîte blanche ; reportez-vous à www.supermicro.com/aplus pour obtenir des informations sur le produit/la plateforme Supermicro.
Modernisez votre centre de données et faites de la place pour l'IA
Pour optimiser les budgets informatiques, de nombreux centres de données repoussent déjà les limites de l'espace et/ou de la puissance disponibles. Les serveurs Supermicro équipés de processeurs AMD EPYC offrent des performances et une efficacité de pointe pour consolider vos charges de travail principales, libérant ainsi de l'espace, de la puissance et des capacités de refroidissement pour prendre en charge de nouvelles charges de travail d'IA stratégiques.
Remplacez 100 anciens serveurs 2P équipés d'un CPU Intel® Xeon® Platinum 8280 par 14 nouveaux serveurs équipés d'un CPU AMD EPYC 99652
Jusqu'à 87 % de serveurs en moins
Jusqu'à 71 % d'énergie en moins
Jusqu'à 67 % de réduction du TCO sur 3 ans
Réduisez les coûts et le TCO (coût total de possession) des serveurs équipés d'un CPU AMD EPYC 9965 par rapport aux serveurs équipés d'un CPU Intel® Xeon® Platinum 8592+2
Jusqu'à 63 % de serveurs en moins
Jusqu'à 45 % d'énergie en moins
Jusqu'à 44 % de réduction du TCO sur 3 ans
Remarque : Résultats des tests pour le système de boîte blanche ; reportez-vous à www.supermicro.com/aplus pour obtenir des informations sur le produit/la plateforme Supermicro.
Pourquoi moderniser votre centre de données maintenant ? Le point de vue d'IDC
Découvrez comment l'IA stimule la demande de serveurs hautement configurés et pourquoi IDC estime qu'il est impératif d'adopter une pile technologique moderne dès maintenant.
AMD et Supermicro rendent les tâches d'inférence lourde plus facile à gérer
Testez vos charges de travail d'IA en demandant un essai des serveurs Supermicro H14 équipés de processeurs AMD EPYC.
Témoignages clients
Ressources
Newsletter et demande de contact
S'abonner aux informations sur les centres de données d'AMD
Demander à être contacté par un expert commercial AMD EPYC™ et Supermicro
Notes de bas de page
- MI300-34 : Débit de génération de jetons exécutant DeepSpeed Inference avec le modèle Bloom-176b, avec une longueur de séquence d'entrée de 1 948 jetons et une longueur de séquence de sortie de 100 jetons, ainsi qu'une taille de lot ajustée pour produire le débit le plus élevé sur chaque comparaison de système, basé sur les tests internes d'AMD s'appuyant sur un conteneur docker personnalisé pour chaque système, au 17/11/2023.
Configurations :
serveur propulsé par un CPU 2P Intel Xeon Platinum 8480C exécutant 8 GPU AMD Instinct™ MI300X 192 Go 750 W, version préliminaire de ROCm™ 6.0, Ubuntu 22.04.2.
vs
Nvidia DGX H100 exécutant 2 processeurs Intel Xeon Platinum 8480CL, 8 GPU Nvidia H100 80 Go 700 W, CUDA 12.0, Ubuntu 22.04.3.
Dans ce test, 8 GPU ont été utilisés pour chaque système.
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de l'utilisation de pilotes plus récents et des optimisations.
- 9xx5TCO-001B : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.12 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 39100 unités de performances SPECrate2017_int_base en date du 10 octobre 2024. Ce scénario compare un serveur existant équipé d'un 2P Intel Xeon 28 cœurs Platinum_8280 avec un score de 391 avec un serveur basé sur un 2P EPYC 9965 (192 cœurs) avec un score de 3 000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) ainsi qu'une mise à niveau de serveur équipé d'un 2P Intel Xeon Platinum 8592+ (64 cœurs) avec un score de 1 130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Le score réel SPECrate®2017_int_base pour le 2P EPYC 9965 varie en fonction des publications des OEM. Estimations de l'impact environnemental effectuées en transposant ces données au moyen des facteurs électriques spécifiques par pays et région, d'après le rapport « 2024 International Country Specific Electricity Factors 10 – Juillet 2024 », et l'outil de calcul des équivalences de gaz à effet de serre de l'agence de protection de l'environnement des États-Unis (United States Environmental Protection Agency Greenhouse Gas Equivalencies Calculator).
Notes de bas de page
- MI300-34 : Débit de génération de jetons exécutant DeepSpeed Inference avec le modèle Bloom-176b, avec une longueur de séquence d'entrée de 1 948 jetons et une longueur de séquence de sortie de 100 jetons, ainsi qu'une taille de lot ajustée pour produire le débit le plus élevé sur chaque comparaison de système, basé sur les tests internes d'AMD s'appuyant sur un conteneur docker personnalisé pour chaque système, au 17/11/2023.
Configurations :
serveur propulsé par un CPU 2P Intel Xeon Platinum 8480C exécutant 8 GPU AMD Instinct™ MI300X 192 Go 750 W, version préliminaire de ROCm™ 6.0, Ubuntu 22.04.2.
vs
Nvidia DGX H100 exécutant 2 processeurs Intel Xeon Platinum 8480CL, 8 GPU Nvidia H100 80 Go 700 W, CUDA 12.0, Ubuntu 22.04.3.
Dans ce test, 8 GPU ont été utilisés pour chaque système.
Les résultats peuvent varier en fonction des configurations créées par les fabricants de serveurs. Les performances peuvent varier en fonction de l'utilisation de pilotes plus récents et des optimisations. - 9xx5TCO-001B : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.12 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 39100 unités de performances SPECrate2017_int_base en date du 10 octobre 2024. Ce scénario compare un serveur existant équipé d'un 2P Intel Xeon 28 cœurs Platinum_8280 avec un score de 391 avec un serveur basé sur un 2P EPYC 9965 (192 cœurs) avec un score de 3 000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) ainsi qu'une mise à niveau de serveur équipé d'un 2P Intel Xeon Platinum 8592+ (64 cœurs) avec un score de 1 130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Le score réel SPECrate®2017_int_base pour le 2P EPYC 9965 varie en fonction des publications des OEM. Estimations de l'impact environnemental effectuées en transposant ces données au moyen des facteurs électriques spécifiques par pays et région, d'après le rapport « 2024 International Country Specific Electricity Factors 10 – Juillet 2024 », et l'outil de calcul des équivalences de gaz à effet de serre de l'agence de protection de l'environnement des États-Unis (United States Environmental Protection Agency Greenhouse Gas Equivalencies Calculator).