Associe o hardware AMD às suas necessidades de IA
Obtenha uma visão geral do portfólio AMD para IA, começando com as CPUs de servidor AMD EPYC, e explore como usar diferentes tipos de hardware em todo o seu fluxo de trabalho de IA.
As tecnologias de IA trazem amplo impacto para o setor
Não importa o tamanho ou a escala de suas implantações de IA, as CPUs de servidor AMD EPYC oferecem uma base de alto desempenho e eficiente em termos de energia para IA empresarial e cargas de trabalho de uso geral.
Veja por que as CPUs de servidor AMD EPYC são as melhores CPUs para IA empresarial9
As CPUs de servidor AMD EPYC de 5ª geração suportam as demandas de IA com opções que incluem alta contagem de núcleos ou alta frequência, grande quantidade de memória e largura de banda de E/S, além de suporte às instruções AVX-512. As tecnologias de segurança incorporadas do AMD Infinity Guard ajudam a manter os dados protegidos até a camada do chip.7
Como criar data centers para IA
Para criar um data center pronto para IA, você precisará de uma base de computação de uso geral projetada para segurança, aumentada com GPUs, conforme necessário, para atender às suas necessidades de desempenho e carga de trabalho. Veja aqui como otimizar seu próximo data center para transformá-lo em uma potência de multitarefa com capacidade para IA.
Etapa 1
Consolidar servidores existentes
Há um limite de espaço e energia em seu data center. Ao substituir servidores antigos por novos com CPUs de alta densidade, é possível consolidar em menos servidores, reduzir o consumo de energia relacionado e liberar espaço para IA.
Consolide de 8 a 1
Mude de servidores Intel® "Cascade Lake" da geração de 2020 para servidores equipados com CPUs AMD EPYC de 5ª geração.
Até
86%
Menos servidores¹
Até
69%
Menos energia¹
Até
41%
Menos TCO¹ em 3 anos
Quatorze servidores AMD EPYC 9965 baseados em CPU podem oferecer o mesmo desempenho inteiro que 100 servidores antigos executando CPUs Intel Xeon Platinum 8280.
Obtenha melhor desempenho do que as mais recentes CPUs Intel® Xeon® 6
Até
29%
Mais desempenho inteiro²
Até
66%
Melhor eficiência de energia³
As CPUs AMD EPYC 9965 da 5ª geração superam as CPUs Intel Xeon 6 6980P mais recentes, que possuem "núcleos de desempenho".
Etapa 2
Use CPUs para suportar novas cargas de trabalho de IA
Muitas cargas de trabalho de inferência são executadas em CPUs e não precisam de hardware acelerador especial. Se você planeja executar modelos pequenos ou médios ou tiver tarefas de IA ocasionais, as CPUs de servidor EPYC da 5ª geração com alta contagem de núcleos podem atender aos seus requisitos de desempenho.
Até
70%
Melhor desempenho completo de IA do que o Intel Xeon 6⁴
As CPUs AMD EPYC 9965 superam as CPUs Intel Xeon 6 6980P no TPCxAI.
Etapa 3
Adicione GPUs conforme necessário
Você pode precisar de aceleração de IA dedicada para o treinamento, inferência em modelos grandes, implantações em larga escala ou casos de uso que exigem baixa latência. Comece com as CPUs de servidor de alta frequência AMD EPYC 9005 como uma CPU host para aproveitar a alta frequência do núcleo e a grande capacidade de memória. Adicione GPUs como os aceleradores AMD Instinct™, disponíveis no fator de forma PCIe.
Até
~10x
Melhor inferência com restrição de latência no NVIDIA H100 com AMD EPYC 9575F vs. Intel Xeon 8592+⁵
Até
11%
Melhor inferência no AMD Instinct MI300X com AMD EPYC 9575F vs. Intel Xeon Platinum 8460Y+⁶
Etapa 4
Aproveite os recursos de segurança integrados
A proteção de dados deve ser considerada em todas as implantações de IA. As CPUs de servidor AMD EPYC são projetadas com segurança em mente para serem resistentes a muitos ataques sofisticados. Incorporado ao nível do chip, o AMD Infinity Guard7 ajuda a defender contra ameaças internas e externas para manter os seus dados seguros.
Etapa 5
Crie a mistura certa entre o local e a nuvem
Escale rapidamente com uma infraestrutura de IA flexível que tenha a combinação certa de recursos locais e na nuvem. Você pode encontrar CPUs de servidor AMD EPYC em centenas de opções de hardware e mais de mil instâncias de nuvem pública.
Executar no local
Mais de 350
Plataformas de hardware
Dimensionamento na nuvem
Mais de 1.000
Instâncias de nuvem pública
Comece a se reestruturar para IA com as CPUs de servidor AMD EPYC
Perguntas frequentes
As CPUs de servidor AMD EPYC são uma ótima opção para muitos casos de uso de inferência. Isso inclui aprendizado de máquina clássico, visão computacional, análise de gráficos com uso intensivo de memória, sistemas de recomendação, processamento de linguagem natural, e modelos de inteligência artificial generativos de pequeno a médio porte, como LLMs. Eles também são ideais para agentes de IA habilmente ajustados e pré-processamento colaborativo baseado em prompts, que são populares na recuperação de modelos de geração aumentada (RAG).
As CPUs de servidor AMD EPYC de 5.ª geração oferecem um desempenho de IA de ponta a ponta 70% superior ao do Intel Xeon 6.4 Também oferecem um desempenho de chatbot até 89% superior no DeepSeek com AMD EPYC 9965 em comparação com o Intel Xeon 6980P8 e um desempenho impressionante para LLMs.
Se você precisar estar em conformidade com a localidade dos dados ou com os requisitos de privacidade, ou se tiver requisitos rígidos de baixa latência, considere executar IA no local. Se precisar da flexibilidade para aumentar ou diminuir a escala rapidamente, a nuvem é uma ótima opção para recursos sob demanda.
Escolhendo a CPU certa para IA
Com as CPUs de servidor AMD EPYC, é possível escolher entre uma variedade de opções de núcleo, frequência, memória e potência. Você terá os melhores resultados combinando a CPU com as cargas de trabalho de IA que espera que sejam executadas com mais frequência.
Obtenha desempenho superior para fluxos de trabalho de ponta a ponta de IA
Para aplicativos reais de IA e aprendizado de máquina, o AMD EPYC 9965 supera o Intel Xeon 6980P.
Até
70%
Desempenho de IA de ponta a ponta melhorado⁴
Até
60%
Melhor desempenho no Facebook AI Similarity Search¹⁰
Até
93%
Desempenho melhorado para aprendizado de máquina¹¹
Desempenho de CPU impressionante para LLMs
Implante com confiança chatbots, agentes de pesquisa inteligentes e outros aplicativos de IA generativos com desempenho para LLMs de até vários bilhões de parâmetros. O AMD EPYC 9965 supera o desempenho do Intel Xeon 6980P.
Até
89%
Melhor desempenho do chatbot no DeepSeek⁴
Até
33%
Melhor desempenho para modelos de linguagem média no Llama 3.1 88¹²
Até
28%
Melhor desempenho para resumo do caso de uso de produtividade no GPT-J 6B¹³
Até
36%
Melhor desempenho para o caso de uso de tradução no Llama 3.2 1B¹⁴
A AMD potencializa o espectro completo da IA
Corresponda suas necessidades de infraestrutura às suas ambições de IA. A AMD oferece o mais amplo portfólio de IA, plataformas baseadas em padrões abertos e um poderoso ecossistema, tudo apoiado pela liderança em desempenho.
Software aberto para desenvolvimento de IA flexível
Com os softwares AMD ZenDNN e AMD ROCm™, os desenvolvedores podem otimizar o desempenho de seus aplicativos, escolhendo as suas estruturas de desenvolvimento preferidas.
Opções de implantação do AMD EPYC
Amplo ecossistema para IA em ambientes locais
Encontre hardware de IA empresarial de nossos parceiros OEM, incluindo servidores com alta contagem de núcleos e CPUs de alta frequência, uma linha de GPUs de primeira linha e soluções de rede interoperáveis.
Dimensione a IA na nuvem.
Aproveite ao máximo sua nuvem escolhendo máquinas virtuais (VMs) baseadas na tecnologia AMD para cargas de trabalho de IA.
Recursos
Assine os Insights do data center da AMD
Solicite contato de um especialista em vendas do AMD EPYC
Notas de rodapé
- 9xxTCO-019[DM1] [MK2] : Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (Total Cost of Ownership, Custo total de propriedade) do servidor AMD e de emissões de gases de efeito estufa – versão 1.53 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um DESEMPENHO TOTAL de 391.000 unidades de desempenho SPECrate2017_int_base em 30 de setembro de 2025. Esta análise compara um servidor com tecnologia AMD EPYC_9965 de 2P e 192 núcleos com uma pontuação SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf; em comparação com um servidor baseado em Intel Xeon de 2P e 128 núcleos Xeon_6980P com uma pontuação SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf; em comparação com um servidor baseado em Intel Xeon 2P de 28 núcleos Platinum_8280 com uma pontuação SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf As estimativas de impacto ambiental foram feitas com base nos dados do 2025 International Country Specific Electricity Factors e podem ser encontradas em https://www.carbondi.com/# electricity-factors/. A Calculadora de Equivalências de Gases de Efeito Estufa da EPA dos EUA utilizada nesta análise foi obtida em 09/04/2024 e pode ser encontrada em https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Para obter mais detalhes, consulte https://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A: comparação de SPECrate®2017_int_base baseada nas pontuações publicadas em www.spec.org em 09/05/2025. 2P AMD EPYC 9965 (3230 SPECrate®2017_fp_base, 384 núcleos no total, TDP de 500 W, $14.813 CPU $), 6.460 SPECrate®2017_fp_base/CPU W, 0,218 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html ) 2P AMD EPYC 9755 (2840 SPECrate®2017_fp_base, 256 núcleos no total, TDP de 500 W, $12.984 CPU $), 5.680 SPECrate®2017_fp_base/CPU W, 0,219 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html ) 2P Intel Xeon 6980P (2510 SPECrate®2017_fp_base, 256 núcleos no total, TDP de 500W, $12.460 CPU $), 5.020 SPECrate®2017_fp_base/CPU W, 0,201 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. TDP da CPU Intel e preços em https://ark.intel.com/ a partir de 17/04/2025.
- 9xx5-134: Comparação do SPECpower_ssj® 2008 com base nas pontuações publicadas em www.spec.org em 30/04/2025. AMD EPYC 9965 2P (35920 ssj_ops/watt, 384 núcleos totais, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) AMD EPYC 9755 2P (29950 ssj_ops/watt, 256 núcleos totais, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) Intel Xeon 6980P 2P (21679 ssj_ops/watt, 256 núcleos totais, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® e SPECpower® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações.
- 9xx5-151: Resultados de produtividade do TPCxAI @SF30 com tamanho de instância de 32 núcleos de várias instâncias com base em testes internos da AMD em 01/04/2025 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI. AMD EPYC 9965 2P (AIUCpm Total 6067,53, 384 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), AMD EPYC 9755 2P (AIUCpm Total 4073,42, 256 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), Intel Xeon 6980P 2P (AIUCpm Total 3550,50, 256 núcleos totais, TDP de 500 W, sistema de produção, 1,5 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Viés de desempenho, Mitigações = ATIVADAS). Os resultados podem variar com base em fatores que incluem, mas não se limitam a, configurações do sistema, versões do software e configurações do BIOS. TPC, TPC Benchmark e TPC-H são marcas comerciais do Transaction Processing Performance Council.
- 9xx5-169: Resultados de taxa de produtividade limitada por latência (goodput) do Llama-3.3-70B com base em testes internos da AMD em 14/05/2025. Configurações: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de dados: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 pedidos máximos (lote dinâmico), tempo limitado de latência até o primeiro token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados em tokens/s. AMD EPYC 9575F 2P (128 núcleos no total, TDP de 400 W, sistema de produção, 1,5 TB 24x64 GB DDR5-6400 a 6000 MT/s, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe; Micron_7450_MTFDKCC800TFS 800 GB NVMe para SO, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic, BIOS 3.2, SMT=DESATIVADO, Determinismo = potência, mitigações = desativadas) com 8x NVIDIA H100. Intel Xeon 8592+ 2P (128 núcleos totais, 350 W TDP, sistema de produção, 1 TB 16x64 GB DDR5-5600 , 2 x 25 GbE ConnectX-6 Lx (MT2894), 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480 GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=DESATIVADO, Viés de desempenho, Mitigações=desativadas) com 8x NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; NA relativo 18,40 1,62 1,29. Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. Informações sobre TDP em ark.intel.com
- 9xx5-013: resultados da pontuação oficial do MLPerf™ Inference v4.1 Llama2-70B - 99,9 tokens de servidor/s e tokens offline/s obtidos em https://mlcommons.org/benchmarks/inference-datacenter/ em 01/09/2024, nas seguintes entradas: 4.1-0070 (visualização) e 4.1.0022. O nome e o logotipo MLPerf™ são marcas comerciais da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Consulte www.mlcommons.org para mais informações.
- GD-183A: Os recursos do AMD Infinity Guard variam de acordo com as gerações e/ou séries de processadores EPYC™. Para que funcionem, os recursos de segurança do Infinity Guard devem ser habilitados pelos OEMs do servidor e/ou pelos provedores de serviços em nuvem. Entre em contato com seu OEM ou fornecedor para confirmar o suporte para esses recursos. Saiba mais sobre o Infinity Guard em https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A: Resultados de produtividade do Deepseek-R1-671B com base em testes internos da AMD em 28/01/2025. Configurações: estrutura llama.cpp, quantização de 1,58 bit (UD_IQ1_S, MoE a 1,56 bit), tamanhos de lote 1 e 4, instâncias de 16 núcleos, configurações de token de entrada/saída de caso de uso: [Chatbot = 128/128, ensaio = 128/1024, Resumo = 1024/128, Regravação = 1024/1024]. AMD EPYC 9965 2P (384 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5,15,0-105-genérico) SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), AMD EPYC 9755 2P (256 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-genérico), SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), Intel Xeon 6980P 2P (256 núcleos totais, TDP de 500 W, sistema de produção, 3 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-genérico, SMT = ATIVADO, Viés de desempenho, Mitigações = ativadas). Resultados: BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47.31 61.88 70.344 1.308 1.487 Ensaio 42.97 56.04 61.608 1.304 1.434 Resumo 44.99 59.39 62.304 1.32 1.385 Regravação 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76.01 104.46 143.496 1.374 1.888 Ensaio 67.89 93.68 116.064 1.38 1.71 Resumo 70.88 103.39 99.96 1.459 1.41 Regravação 65 87.9 78.12 1.352 1.202. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- comparação baseada na densidade de threads, no desempenho, nos recursos, na tecnologia de processo e nos recursos de segurança incorporados dos servidores atualmente disponíveis em 10/10/2024. As CPUs da Série EPYC 9005 oferecem a mais alta densidade de threads [EPYC-025B], lideram o setor com mais de 500 recordes mundiais de desempenho [EPYC-023F] com desempenho de Java® ops/sec de liderança empresarial com recorde mundial de desempenho [EPYCWR-20241010-260], liderança em HPC com desempenho de taxa de transferência de ponto de flutuação [EPYCWR-2024-1010-381], desempenho completo de IA com desempenho TPCx-AI [EPYCWR-2024-1010-525] e as mais altas pontuações de eficiência de energia [EPYCWR-20241010-326]. A Série EPYC de 5ª geração também tem 50% mais canais de memória DDR5 [EPYC-033C] com 70% mais largura de banda de memória [EPYC-032C] e suporta 70% mais pistas PCIe® Gen5 para taxa de transferência de E/S [EPYC-035C], tem até 5 vezes mais cache L3/núcleo [EPYC-043C] para acesso mais rápido aos dados, usa tecnologia avançada de 3-4 nm e oferece os recursos de segurança Criptografia de Memória Segura + Virtualização Criptografada Segura (SEV) + Estado Criptografado por SEV + Paginação Aninhada Segura por SEV. Consulte o white paper da arquitetura AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) para obter mais informações.
- 9xx5-164: Resultados de produtividade (execuções/hora) do FAISS com base em testes internos da AMD em 08/04/2025. Configurações do FAISS : v1.8.0, sift1m Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-162: Resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 08/04/2025. Configurações do XGBoost: v1.7.2, Higgs Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa da CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-156: Resultados de produtividade do Llama3.1-8B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.1-8B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9755 9965 1 n/a 1,093 Traduzir 1 1,062 Ensaio 1 1,334 n/a 1,14. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-158: resultados de produtividade do GPT-J-6B com base em testes internos da AMD em 08/04/2025. Configurações do GPT-J-6B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Python 3.10.12, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: CPU 6980P 9755 9965 Resumo 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduzir 1 1,021 0,93 Ensaio 1 0,978 1,108 Legenda 1 0,913 1, 12 Geral 1 0,983 1,114 Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS.
- 9xx5-166: resultados de produtividade do Llama3.2-1B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.3-1B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900 generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9965 1 1.213 Traduzir 1 1.364 Ensaio 1 1.271. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council.
Notas de rodapé
- 9xxTCO-019[DM1] [MK2] : Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (Total Cost of Ownership, Custo total de propriedade) do servidor AMD e de emissões de gases de efeito estufa – versão 1.53 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um DESEMPENHO TOTAL de 391.000 unidades de desempenho SPECrate2017_int_base em 30 de setembro de 2025. Esta análise compara um servidor com tecnologia AMD EPYC_9965 de 2P e 192 núcleos com uma pontuação SPECrate2017_int_base de 3230, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.pdf; em comparação com um servidor baseado em Intel Xeon de 2P e 128 núcleos Xeon_6980P com uma pontuação SPECrate2017_int_base de 2510, https://spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.pdf; em comparação com um servidor baseado em Intel Xeon 2P de 28 núcleos Platinum_8280 com uma pontuação SPECrate2017_int_base de 391, https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf As estimativas de impacto ambiental foram feitas com base nos dados do 2025 International Country Specific Electricity Factors e podem ser encontradas em https://www.carbondi.com/# electricity-factors/. A Calculadora de Equivalências de Gases de Efeito Estufa da EPA dos EUA utilizada nesta análise foi obtida em 09/04/2024 e pode ser encontrada em https://www.epa.gov/energy/greenhouse-gas-equivalencies-calculator. Para obter mais detalhes, consulte https://www.amd.com/claims/9xx5TCO-019.
- 9xx5-128A: comparação de SPECrate®2017_int_base baseada nas pontuações publicadas em www.spec.org em 09/05/2025. 2P AMD EPYC 9965 (3230 SPECrate®2017_fp_base, 384 núcleos no total, TDP de 500 W, $14.813 CPU $), 6.460 SPECrate®2017_fp_base/CPU W, 0,218 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html ) 2P AMD EPYC 9755 (2840 SPECrate®2017_fp_base, 256 núcleos no total, TDP de 500 W, $12.984 CPU $), 5.680 SPECrate®2017_fp_base/CPU W, 0,219 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html ) 2P Intel Xeon 6980P (2510 SPECrate®2017_fp_base, 256 núcleos no total, TDP de 500W, $12.460 CPU $), 5.020 SPECrate®2017_fp_base/CPU W, 0,201 SPECrate®2017_fp_base/CPU $, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html) SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. TDP da CPU Intel e preços em https://ark.intel.com/ a partir de 17/04/2025.
- 9xx5-134: Comparação do SPECpower_ssj® 2008 com base nas pontuações publicadas em www.spec.org em 30/04/2025. AMD EPYC 9965 2P (35920 ssj_ops/watt, 384 núcleos totais, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20241007-01464.html) AMD EPYC 9755 2P (29950 ssj_ops/watt, 256 núcleos totais, https://spec.org/power_ssj2008/results/res2024q4/power_ssj2008-20240924-01460.html) Intel Xeon 6980P 2P (21679 ssj_ops/watt, 256 núcleos totais, https://spec.org/power_ssj2008/results/res2025q2/power_ssj2008-20250324-01511.html) SPEC®, SPEC CPU® e SPECpower® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações.
- 9xx5-151: Resultados de produtividade do TPCxAI @SF30 com tamanho de instância de 32 núcleos de várias instâncias com base em testes internos da AMD em 01/04/2025 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI. AMD EPYC 9965 2P (AIUCpm Total 6067,53, 384 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), AMD EPYC 9755 2P (AIUCpm Total 4073,42, 256 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), Intel Xeon 6980P 2P (AIUCpm Total 3550,50, 256 núcleos totais, TDP de 500 W, sistema de produção, 1,5 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Viés de desempenho, Mitigações = ATIVADAS). Os resultados podem variar com base em fatores que incluem, mas não se limitam a, configurações do sistema, versões do software e configurações do BIOS. TPC, TPC Benchmark e TPC-H são marcas comerciais do Transaction Processing Performance Council.
- 9xx5-169: Resultados de taxa de produtividade limitada por latência (goodput) do Llama-3.3-70B com base em testes internos da AMD em 14/05/2025. Configurações: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de dados: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 pedidos máximos (lote dinâmico), tempo limitado de latência até o primeiro token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados em tokens/s. AMD EPYC 9575F 2P (128 núcleos no total, TDP de 400 W, sistema de produção, 1,5 TB 24x64 GB DDR5-6400 a 6000 MT/s, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe; Micron_7450_MTFDKCC800TFS 800 GB NVMe para SO, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic, BIOS 3.2, SMT=DESATIVADO, Determinismo = potência, mitigações = desativadas) com 8x NVIDIA H100. Intel Xeon 8592+ 2P (128 núcleos totais, 350 W TDP, sistema de produção, 1 TB 16x64 GB DDR5-5600 , 2 x 25 GbE ConnectX-6 Lx (MT2894), 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe, Micron_7450_MTFDKBA480TFR 480 GB NVMe, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=DESATIVADO, Viés de desempenho, Mitigações=desativadas) com 8x NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; NA relativo 18,40 1,62 1,29. Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. Informações sobre TDP em ark.intel.com
- 9xx5-013: resultados da pontuação oficial do MLPerf™ Inference v4.1 Llama2-70B - 99,9 tokens de servidor/s e tokens offline/s obtidos em https://mlcommons.org/benchmarks/inference-datacenter/ em 01/09/2024, nas seguintes entradas: 4.1-0070 (visualização) e 4.1.0022. O nome e o logotipo MLPerf™ são marcas comerciais da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Consulte www.mlcommons.org para mais informações.
- GD-183A: Os recursos do AMD Infinity Guard variam de acordo com as gerações e/ou séries de processadores EPYC™. Para que funcionem, os recursos de segurança do Infinity Guard devem ser habilitados pelos OEMs do servidor e/ou pelos provedores de serviços em nuvem. Entre em contato com seu OEM ou fornecedor para confirmar o suporte para esses recursos. Saiba mais sobre o Infinity Guard em https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-152A: Resultados de produtividade do Deepseek-R1-671B com base em testes internos da AMD em 28/01/2025. Configurações: estrutura llama.cpp, quantização de 1,58 bit (UD_IQ1_S, MoE a 1,56 bit), tamanhos de lote 1 e 4, instâncias de 16 núcleos, configurações de token de entrada/saída de caso de uso: [Chatbot = 128/128, ensaio = 128/1024, Resumo = 1024/128, Regravação = 1024/1024]. AMD EPYC 9965 2P (384 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5,15,0-105-genérico) SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), AMD EPYC 9755 2P (256 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-genérico), SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), Intel Xeon 6980P 2P (256 núcleos totais, TDP de 500 W, sistema de produção, 3 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-genérico, SMT = ATIVADO, Viés de desempenho, Mitigações = ativadas). Resultados: BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47.31 61.88 70.344 1.308 1.487 Ensaio 42.97 56.04 61.608 1.304 1.434 Resumo 44.99 59.39 62.304 1.32 1.385 Regravação 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76.01 104.46 143.496 1.374 1.888 Ensaio 67.89 93.68 116.064 1.38 1.71 Resumo 70.88 103.39 99.96 1.459 1.41 Regravação 65 87.9 78.12 1.352 1.202. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- comparação baseada na densidade de threads, no desempenho, nos recursos, na tecnologia de processo e nos recursos de segurança incorporados dos servidores atualmente disponíveis em 10/10/2024. As CPUs da Série EPYC 9005 oferecem a mais alta densidade de threads [EPYC-025B], lideram o setor com mais de 500 recordes mundiais de desempenho [EPYC-023F] com desempenho de Java® ops/sec de liderança empresarial com recorde mundial de desempenho [EPYCWR-20241010-260], liderança em HPC com desempenho de taxa de transferência de ponto de flutuação [EPYCWR-2024-1010-381], desempenho completo de IA com desempenho TPCx-AI [EPYCWR-2024-1010-525] e as mais altas pontuações de eficiência de energia [EPYCWR-20241010-326]. A Série EPYC de 5ª geração também tem 50% mais canais de memória DDR5 [EPYC-033C] com 70% mais largura de banda de memória [EPYC-032C] e suporta 70% mais pistas PCIe® Gen5 para taxa de transferência de E/S [EPYC-035C], tem até 5 vezes mais cache L3/núcleo [EPYC-043C] para acesso mais rápido aos dados, usa tecnologia avançada de 3-4 nm e oferece os recursos de segurança Criptografia de Memória Segura + Virtualização Criptografada Segura (SEV) + Estado Criptografado por SEV + Paginação Aninhada Segura por SEV. Consulte o white paper da arquitetura AMD EPYC (https://library.amd.com/l/3f4587d147382e2/) para obter mais informações.
- 9xx5-164: Resultados de produtividade (execuções/hora) do FAISS com base em testes internos da AMD em 08/04/2025. Configurações do FAISS : v1.8.0, sift1m Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-162: Resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 08/04/2025. Configurações do XGBoost: v1.7.2, Higgs Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa da CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-156: Resultados de produtividade do Llama3.1-8B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.1-8B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9755 9965 1 n/a 1,093 Traduzir 1 1,062 Ensaio 1 1,334 n/a 1,14. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-158: resultados de produtividade do GPT-J-6B com base em testes internos da AMD em 08/04/2025. Configurações do GPT-J-6B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Python 3.10.12, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: CPU 6980P 9755 9965 Resumo 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduzir 1 1,021 0,93 Ensaio 1 0,978 1,108 Legenda 1 0,913 1, 12 Geral 1 0,983 1,114 Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS.
- 9xx5-166: resultados de produtividade do Llama3.2-1B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.3-1B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900 generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9965 1 1.213 Traduzir 1 1.364 Ensaio 1 1.271. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council.