Inferência econômica para IA empresarial
À medida que o setor transita do treinamento de modelos para a execução deles, as CPUs podem desempenhar duas funções: executar cargas de trabalho de IA e de uso geral simultaneamente.
Visão geral
Implemente modelos de pequeno e médio porte em CPUs de servidor AMD EPYC™ 9005 — no local ou na nuvem — e maximize o valor de seus investimentos em computação.
Que hardware é melhor para diferentes cargas de trabalho de inferência?
Para evitar o provisionamento excessivo e obter o melhor retorno sobre os investimentos em IA, é importante combinar o tamanho do modelo e os requisitos de latência com o hardware apropriado. As últimas gerações de CPUs para servidores AMD EPYC podem lidar com uma variedade de tarefas de IA, além de cargas de trabalho de uso geral. Conforme os modelos aumentam de tamanho, os volumes crescem e as latências mais baixas se tornam críticas, as GPUs ficam mais eficientes e econômicas.
| Carga de trabalho de inferência de IA | Ideal para... |
||
CPUs |
CPUs + GPU baseada em PCIe |
Clusters de GPU |
|
Processamento e classificação de documentos |
✓ |
|
|
Mineração e análise de dados |
✓ |
|
✓ |
Simulações científicas |
✓ |
|
|
Tradução |
✓ |
|
|
Indexação |
✓ |
|
|
Moderação de conteúdo |
✓ |
|
|
Manutenção preditiva |
✓ |
|
✓ |
Assistentes virtuais |
✓ |
✓ |
|
Chatbots |
✓ |
✓ |
|
Agentes especialistas |
✓ |
✓ |
|
Legenda de vídeo |
✓ |
✓ |
|
Detecção de fraude |
|
✓ |
✓ |
Tomada de decisões |
|
✓ |
✓ |
Preços dinâmicos |
|
✓ |
✓ |
Filtragem de áudio e vídeo |
|
✓ |
✓ |
Negociação financeira |
|
|
✓ |
Telecomunicações e redes |
|
|
✓ |
Sistemas autônomos |
|
|
✓ |
Encontre o melhor hardware de inferência
Dependendo dos seus requisitos de carga de trabalho, as CPUs com alta contagem de núcleos ou a combinação de CPUs e GPUs funcionam melhor para inferência. Saiba mais sobre qual infraestrutura se adapta ao tamanho do seu modelo e às suas necessidades de latência.
Cinco cargas de trabalho de inferência de IA que são executadas em uma CPU
As mais recentes CPUs de servidor AMD EPYC atendem aos requisitos de desempenho de uma variedade de cargas de trabalho de IA, incluindo aprendizado de máquina clássico, visão computacional e agentes de IA. Leia sobre cinco cargas de trabalho populares que funcionam muito bem em CPUs.
Inferência rápida e eficiente com CPUs de servidor AMD EPYC
As CPUs de servidor AMD EPYC são projetadas com as mais modernas tecnologias de padrões abertos para acelerar cargas de trabalho de inferência de IA empresarial, estejam elas implementadas em servidores apenas de CPU ou sendo usadas como host para GPUs que executam modelos maiores.
As CPUs de servidor AMD EPYC de 5ª geração superam o Intel Xeon 6 em inferência, IA de ponta a ponta e aprendizado de máquina
Análise comparativa das CPUs de servidor AMD EPYC 9965 de 5ª geração com as Intel Xeon 6980P.
Até
89%
melhor desempenho do chatbot no DeepSeek³
Até
33%
melhor desempenho de inferência para o caso de uso de tradução com o Llama 3.1 8B⁴
Até
36%
melhor desempenho de inferência para o caso de uso de tradução com o Llama 3.2 1B⁵
- Modelos de linguagem pequenos
- Modelos de idioma médios
- Grandes modelos de linguagem
- Desempenho da IA de ponta a ponta
- Aprendizado de máquina clássico
Tradução com o Llama 3.2 1B⁵
~1,36x
Ensaio sobre o Llama 3.2 1B⁵
~1,27x
AMD EPYC 9965 de 5ª geração
Intel Xeon 6980P
Tradução com o Llama 3.1 8B⁴
~1,33x
Resumo usando o GPT-J 6B⁶
Aprox. 1,28x
AMD EPYC 9965 de 5ª geração
Intel Xeon 6980P
Chatbot no DeepSeek-R1 671B³
Aprox. 1,89x
Ensaio sobre o DeepSeek-R1 671B³
~1,71x
Resumo usando o DeepSeek-R1 671B³
~1,41x
Reescrita usando o DeepSeek-R1 671B³
~1,20x
AMD EPYC 9965 de 5ª geração
Intel Xeon 6980P
AMD EPYC 9965 de 5ª geração
Intel Xeon 6980P
Derivado do TPCx-AI@SF30¹⁰
~1,70x
XGBoost (Higgs)¹¹
~1,93x
Facebook AI Similarity Search (FAISS)¹²
~1,60x
AMD EPYC 9965 de 5ª geração
Intel Xeon 6980P
Perguntas frequentes
Primeiro, determine suas necessidades de desempenho. Com que rapidez você precisa das respostas, em termos de minutos, segundos ou milissegundos? Qual é o tamanho dos modelos que você está executando em termos de parâmetros? Você pode atender aos requisitos de desempenho simplesmente atualizando para uma CPU AMD EPYC de 5ª geração, evitando o custo do hardware da GPU.
Se você não precisa de respostas em tempo real, a inferência em lote é econômica para análises em larga escala e de longo prazo, como avaliar o desempenho de campanhas ou realizar manutenção preditiva. A inferência em tempo real, que suporta casos de uso interativos, como negociações financeiras e sistemas autônomos, pode exigir aceleradores de GPU. Embora as CPUs sejam excelentes para inferência em lote, as GPUs são melhores para inferência em tempo real.
As CPUs, por si só, oferecem desempenho suficiente para a inferência em modelos com até 20 bilhões de parâmetros e para tempos de resposta de latência média (de segundos a minutos). Isso é suficiente para muitos assistentes de IA, chatbots e agentes. Considere adicionar aceleradores de GPU quando os modelos forem maiores ou os tempos de resposta precisarem ser mais rápidos do que isso.
A resposta curta é: depende. Obter o máximo desempenho de uma carga de trabalho depende muito da carga em si e da experiência do usuário. Dito isso, determinadas CPUs de servidor AMD EPYC de 5ª geração superam o desempenho do Intel Xeon 6 comparável em inferência para várias cargas de trabalho de IA populares, incluindo modelos de linguagem grandes (DeepSeek-R1 671B),3 modelos de linguagem médios (Llama 3.1 8B4 e GPT-J 6B6) e modelos de linguagem pequenos (Llama 3.2 1B).5
As CPUs de servidor AMD EPYC incluem o AMD Infinity Guard, que oferece um conjunto de recursos de segurança baseados em chip.7 O AMD Infinity Guard inclui a SEV (Secure Encrypted Virtualization, Virtualização criptografada segura) da AMD, uma solução de computação confidencial amplamente adotada que usa MVs (Máquinas Virtuais) confidenciais para ajudar a proteger dados, modelos de IA e cargas de trabalho em tempo de execução.
A AMD potencializa o espectro completo da IA
Corresponda suas necessidades de infraestrutura às suas ambições de IA. A AMD oferece o mais amplo portfólio de IA, plataformas baseadas em padrões abertos e um poderoso ecossistema, tudo apoiado pela liderança em desempenho.
Opções de implantação do AMD EPYC
Amplo ecossistema para IA em ambientes locais
Encontre hardware de IA empresarial de nossos parceiros OEM, incluindo servidores com alta contagem de núcleos e CPUs de alta frequência, uma linha de GPUs de primeira linha e soluções de rede interoperáveis.
Dimensione a IA na nuvem.
Aproveite ao máximo sua nuvem escolhendo máquinas virtuais (VMs) baseadas na tecnologia AMD para cargas de trabalho de IA.
Estruturas de inferência para o desenvolvimento de software aberto
Com os softwares AMD ZenDNN e AMD ROCm™, os desenvolvedores podem otimizar o desempenho de seus aplicativos, escolhendo as suas estruturas de desenvolvimento preferidas.
Recursos
Assine os Insights do data center da AMD
Solicite contato de um especialista em vendas do AMD EPYC
Notas de rodapé
- 9xx5-169: Resultados de taxa de produtividade limitada por latência (goodput) do Llama-3.3-70B com base em testes internos da AMD em 14/05/2025. Configurações: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de dados: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 pedidos máximos (lote dinâmico), tempo limitado de latência até o primeiro token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados em tokens/s. AMD EPYC 9575F 2P (128 núcleos no total, TDP de 400 W, sistema de produção, 1,5 TB 24x64 GB DDR5-6400 a 6000 MT/s, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe; Micron_7450_MTFDKCC800TFS 800 GB NVMe para SO, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic, BIOS 3.2, SMT=DESATIVADO, Determinismo = potência, mitigações = desativadas) com 8x NVIDIA H100. Intel Xeon 8592+ 2P (128 núcleos no total, TDP de 350 W, sistema de produção, DDR5‑5600 de 1 TB (16×64 GB), 2 ConnectX-6 Lx (MT2894) de 25 GbE, 4 NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, NVMe Micron_7450_MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=DESATIVADO, Viés de desempenho, Mitigações=desativadas) com 8 NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; NA relativo 18,40 1,62 1,29. Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. Informações sobre TDP em ark.intel.com
- Tecnologia de PARD (Parallel draft models, Modelos de rascunho paralelos) no Llama-3.2-1B-Instruct. Consulte as configurações: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: Resultados de produtividade do Deepseek-R1-671B com base em testes internos da AMD em 28/01/2025. Configurações: estrutura llama.cpp, quantização de 1,58 bit (UD_IQ1_S, MoE a 1,56 bit), tamanhos de lote 1 e 4, instâncias de 16 núcleos, configurações de token de entrada/saída de caso de uso: [Chatbot = 128/128, ensaio = 128/1024, Resumo = 1024/128, Regravação = 1024/1024]. AMD EPYC 9965 2P (384 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5,15,0-105-genérico) SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), AMD EPYC 9755 2P (256 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-genérico), SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), Intel Xeon 6980P 2P (256 núcleos totais, TDP de 500 W, sistema de produção, 3 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-genérico, SMT = ATIVADO, Viés de desempenho, Mitigações = ativadas). Resultados: BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47.31 61.88 70.344 1.308 1.487 Ensaio 42.97 56.04 61.608 1.304 1.434 Resumo 44.99 59.39 62.304 1.32 1.385 Regravação 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76.01 104.46 143.496 1.374 1.888 Ensaio 67.89 93.68 116.064 1.38 1.71 Resumo 70.88 103.39 99.96 1.459 1.41 Regravação 65 87.9 78.12 1.352 1.202. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-156: Resultados de produtividade do Llama3.1-8B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.1-8B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9755 9965 1 n/a 1,093 Traduzir 1 1,062 Ensaio 1 1,334 n/a 1,14. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-166: resultados de produtividade do Llama3.2-1B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.3-1B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900 generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9965 1 1.213 Traduzir 1 1.364 Ensaio 1 1.271. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-158: resultados de produtividade do GPT-J-6B com base em testes internos da AMD em 08/04/2025. Configurações do GPT-J-6B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Python 3.10.12, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: CPU 6980P 9755 9965 Resumo 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduzir 1 1,021 0,93 Ensaio 1 0,978 1,108 Legenda 1 0,913 1, 12 Geral 1 0,983 1,114 Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS.
- Os recursos do AMD Infinity Guard GD-183A variam de acordo com as gerações e/ou séries de processadores EPYC™. Para que funcionem, os recursos de segurança do Infinity Guard devem ser habilitados pelos OEMs do servidor e/ou pelos provedores de serviços em nuvem. Entre em contato com seu OEM ou fornecedor para confirmar o suporte para esses recursos. Saiba mais sobre o Infinity Guard em https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F: Comparação do SPECrate®2017_int_base com base nas pontuações publicadas em www.spec.org em 04/12/2025. Os resultados e as configurações abaixo estão no formato de: [processador], [núcleos], [TDP], [preço por 1.000 unidades em US$], [pontuação SPECrate®2017)_int_base], [pontuação SPECrate® 2017)_int_base por watt da CPU], [pontuação SPECrate® 2017)_int_base por preço por 1.000 unidades em US$], [Link para a pontuação]
2P AMD EPYC 9654, 96C, 360 W, US$ 8452, 1830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754, 128C, 360 W, US$ 10.631, 1950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
AMD EPYC 9755 2P, 128 núcleos, 500 W, US$ 10.931, 2840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965, 192C, 500 W, US$ 11.988, 3230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
Intel Xeon 6780E 2P, 144 núcleos, 330 W, US$ 8.513, 1.410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P, 128C, 500 W, US$ 12.460, 2510, 5.020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+, 64C, 350 W, US$ 11.600, 1130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. Preços de CPU AMD em 09/12/2025. TDP e preços de CPUs Intel em https://ark.intel.com/ em 09/12/2025
- 9xx5-001: Com base em testes internos da AMD em 10/09/2024, melhoria de desempenho de média geométrica (IPC) em frequência fixa. - Cargas de trabalho de servidor ML/HPC geracional EPYC de 5ª geração IPC com melhoria de 1,369x (média geométrica) usando um conjunto selecionado de 24 cargas de trabalho e a média geométrica de cargas de trabalho representativas do servidor ML (média geométrica) e cargas de trabalho representativas do servidor HPC (média geométrica). Configuração "Genoa" (todas NPS1): EPYC 9654 BIOS TQZ1005D 12 núcleos e 12 threads (1 núcleo e 1 thread/CCD em 12+1), FF 3 GHz, 12x DDR5-4800 (2Rx4 64 GB), xGMI de 32 Gbps; config. "Turin" (todos os NPS1): EPYC 9V45 BIOS RVOT1000F com 12 núcleos e 12 threads (1 núcleo e 1 thread/CCD em 12+1), FF 3 GHz, 12x DDR5-6000 (2 Rx4 de 64 GB), xGMI de 32 Gbps Utilizando o determinismo de desempenho e o regulador de desempenho no sistema operacional Ubuntu 22.04 com kernel genérico 6.8.0-40 para todas as cargas de trabalho, exceto LAMMPS, HPCG, NAMD, OpenFOAM e Gromacs, que utilizam o 24.04 com kernel genérico 6.8.0-40. SPEC® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Saiba mais em spec.org.
- 9xx5-151: Resultados de produtividade do TPCxAI @SF30 com tamanho de instância de 32 núcleos de várias instâncias com base em testes internos da AMD em 01/04/2025 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI. AMD EPYC 9965 2P (AIUCpm Total 6067,53, 384 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), AMD EPYC 9755 2P (AIUCpm Total 4073,42, 256 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), Intel Xeon 6980P 2P (AIUCpm Total 3550,50, 256 núcleos totais, TDP de 500 W, sistema de produção, 1,5 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Viés de desempenho, Mitigações = ATIVADAS). Os resultados podem variar com base em fatores que incluem, mas não se limitam a, configurações do sistema, versões do software e configurações do BIOS. TPC, TPC Benchmark e TPC-H são marcas comerciais do Transaction Processing Performance Council.
- 9xx5-162: Resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 08/04/2025. Configurações do XGBoost: v1.7.2, Higgs Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa da CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-164: Resultados de produtividade (execuções/hora) do FAISS com base em testes internos da AMD em 08/04/2025. Configurações do FAISS : v1.8.0, sift1m Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council.
Notas de rodapé
- 9xx5-169: Resultados de taxa de produtividade limitada por latência (goodput) do Llama-3.3-70B com base em testes internos da AMD em 14/05/2025. Configurações: Llama-3.3-70B, servidor API vLLM v1.0, conjunto de dados: Sonnet3.5-SlimOrcaDedupCleaned, TP8, 512 pedidos máximos (lote dinâmico), tempo limitado de latência até o primeiro token (300 ms, 400 ms, 500 ms, 600 ms), OpenMP 128, resultados em tokens/s. AMD EPYC 9575F 2P (128 núcleos no total, TDP de 400 W, sistema de produção, 1,5 TB 24x64 GB DDR5-6400 a 6000 MT/s, 2 x 25 GbE ConnectX-6 Lx MT2894, 4x 3,84 TB Samsung MZWLO3T8HCLS-00A07 NVMe; Micron_7450_MTFDKCC800TFS 800 GB NVMe para SO, Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic, BIOS 3.2, SMT=DESATIVADO, Determinismo = potência, mitigações = desativadas) com 8x NVIDIA H100. Intel Xeon 8592+ 2P (128 núcleos no total, TDP de 350 W, sistema de produção, DDR5‑5600 de 1 TB (16×64 GB), 2 ConnectX-6 Lx (MT2894) de 25 GbE, 4 NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, NVMe Micron_7450_MTFDKBA480TFR de 480 GB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, SMT=DESATIVADO, Viés de desempenho, Mitigações=desativadas) com 8 NVIDIA H100. Resultados: CPU 300 400 500 600; 8592+ 0 126,43 1565,65 1987,19; 9575F 346,11 2326,21; 2531,38 2572,42; NA relativo 18,40 1,62 1,29. Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. Informações sobre TDP em ark.intel.com
- Tecnologia de PARD (Parallel draft models, Modelos de rascunho paralelos) no Llama-3.2-1B-Instruct. Consulte as configurações: https://www.amd.com/en/developer/resources/technical-articles/2025/speculative-llm-inference-on-the-5th-gen-amd-epyc-processors-wit.html
- 9xx5-152A: Resultados de produtividade do Deepseek-R1-671B com base em testes internos da AMD em 28/01/2025. Configurações: estrutura llama.cpp, quantização de 1,58 bit (UD_IQ1_S, MoE a 1,56 bit), tamanhos de lote 1 e 4, instâncias de 16 núcleos, configurações de token de entrada/saída de caso de uso: [Chatbot = 128/128, ensaio = 128/1024, Resumo = 1024/128, Regravação = 1024/1024]. AMD EPYC 9965 2P (384 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5,15,0-105-genérico) SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), AMD EPYC 9755 2P (256 núcleos totais, TDP de 500 W, sistema de referência, 3 TB, 24 DDR5-6400 de 128 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.3 LTS | 5.15.0-105-genérico), SMT = ATIVADO, Determinismo = Potência, Mitigações = ativadas), Intel Xeon 6980P 2P (256 núcleos totais, TDP de 500 W, sistema de produção, 3 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04.2 LTS | 6.13.2-061302-genérico, SMT = ATIVADO, Viés de desempenho, Mitigações = ativadas). Resultados: BS=1 6980P 9755 9965 Rel9755 Rel9965 Chatbot 47.31 61.88 70.344 1.308 1.487 Ensaio 42.97 56.04 61.608 1.304 1.434 Resumo 44.99 59.39 62.304 1.32 1.385 Regravação 41.8 68.44 55.08 1.637 1.318 BS=4 6980P 9755 Rel9755 Rel9965 Chatbot 76.01 104.46 143.496 1.374 1.888 Ensaio 67.89 93.68 116.064 1.38 1.71 Resumo 70.88 103.39 99.96 1.459 1.41 Regravação 65 87.9 78.12 1.352 1.202. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-156: Resultados de produtividade do Llama3.1-8B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.1-8B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9755 9965 1 n/a 1,093 Traduzir 1 1,062 Ensaio 1 1,334 n/a 1,14. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-166: resultados de produtividade do Llama3.2-1B com base em testes internos da AMD em 08/04/2025. Configurações do Llama3.3-1B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900 generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: Resumo 1 da CPU 6980P 9965 1 1.213 Traduzir 1 1.364 Ensaio 1 1.271. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-158: resultados de produtividade do GPT-J-6B com base em testes internos da AMD em 08/04/2025. Configurações do GPT-J-6B: BF16, tamanho de lote 32, instâncias de 32 núcleos, configurações de token de entrada/saída para o caso de uso: [Resumo = 1024/128, Chatbot = 128/128, Traduzir = 1024/1024, Ensaio = 128/1024]. AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 6.9.0-060900-generic, BIOS RVOT1004A, (SMT = desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Python 3.10.12, AMD EPYC 9755 2P (256 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB, NIC de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 6.8.0-52-generic, BIOS RVOT1004A, (SMT=desativado, mitigações = desativadas, Determinismo = Potência), NPS=1, ZenDNN 5.0.1, Xeon 6980P 2P (256 núcleos totais), AMX ativado, 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho), Resultados IPEX 2.6.0: CPU 6980P 9755 9965 Resumo 1 1,034 1,279 Chatbot 1 0,975 1,163 Traduzir 1 1,021 0,93 Ensaio 1 0,978 1,108 Legenda 1 0,913 1, 12 Geral 1 0,983 1,114 Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS.
- Os recursos do AMD Infinity Guard GD-183A variam de acordo com as gerações e/ou séries de processadores EPYC™. Para que funcionem, os recursos de segurança do Infinity Guard devem ser habilitados pelos OEMs do servidor e/ou pelos provedores de serviços em nuvem. Entre em contato com seu OEM ou fornecedor para confirmar o suporte para esses recursos. Saiba mais sobre o Infinity Guard em https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html.
- 9xx5-002F: Comparação do SPECrate®2017_int_base com base nas pontuações publicadas em www.spec.org em 04/12/2025. Os resultados e as configurações abaixo estão no formato de: [processador], [núcleos], [TDP], [preço por 1.000 unidades em US$], [pontuação SPECrate®2017)_int_base], [pontuação SPECrate® 2017)_int_base por watt da CPU], [pontuação SPECrate® 2017)_int_base por preço por 1.000 unidades em US$], [Link para a pontuação]
2P AMD EPYC 9654, 96C, 360 W, US$ 8452, 1830, 5,083, 0,217, https://www.spec.org/cpu2017/results/res2025q3/cpu2017-20250727-49206.html
2P AMD EPYC 9754, 128C, 360 W, US$ 10.631, 1950, 5,417, 0,183, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html
AMD EPYC 9755 2P, 128 núcleos, 500 W, US$ 10.931, 2840, 5,680, 0,260, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47223.html
2P AMD EPYC 9965, 192C, 500 W, US$ 11.988, 3230, 6,460, 0,269, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47086.html
Intel Xeon 6780E 2P, 144 núcleos, 330 W, US$ 8.513, 1.410, 4,273, 0,166, https://www.spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html
2P Intel Xeon 6980P, 128C, 500 W, US$ 12.460, 2510, 5.020, 0,201, https://www.spec.org/cpu2017/results/res2025q2/cpu2017-20250324-47099.html
2P Intel Xeon Platinum 8592+, 64C, 350 W, US$ 11.600, 1130, 3,229, 0,097, https://www.spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html
SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. Preços de CPU AMD em 09/12/2025. TDP e preços de CPUs Intel em https://ark.intel.com/ em 09/12/2025 - 9xx5-001: Com base em testes internos da AMD em 10/09/2024, melhoria de desempenho de média geométrica (IPC) em frequência fixa. - Cargas de trabalho de servidor ML/HPC geracional EPYC de 5ª geração IPC com melhoria de 1,369x (média geométrica) usando um conjunto selecionado de 24 cargas de trabalho e a média geométrica de cargas de trabalho representativas do servidor ML (média geométrica) e cargas de trabalho representativas do servidor HPC (média geométrica). Configuração "Genoa" (todas NPS1): EPYC 9654 BIOS TQZ1005D 12 núcleos e 12 threads (1 núcleo e 1 thread/CCD em 12+1), FF 3 GHz, 12x DDR5-4800 (2Rx4 64 GB), xGMI de 32 Gbps; config. "Turin" (todos os NPS1): EPYC 9V45 BIOS RVOT1000F com 12 núcleos e 12 threads (1 núcleo e 1 thread/CCD em 12+1), FF 3 GHz, 12x DDR5-6000 (2 Rx4 de 64 GB), xGMI de 32 Gbps Utilizando o determinismo de desempenho e o regulador de desempenho no sistema operacional Ubuntu 22.04 com kernel genérico 6.8.0-40 para todas as cargas de trabalho, exceto LAMMPS, HPCG, NAMD, OpenFOAM e Gromacs, que utilizam o 24.04 com kernel genérico 6.8.0-40. SPEC® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Saiba mais em spec.org.
- 9xx5-151: Resultados de produtividade do TPCxAI @SF30 com tamanho de instância de 32 núcleos de várias instâncias com base em testes internos da AMD em 01/04/2025 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI. AMD EPYC 9965 2P (AIUCpm Total 6067,53, 384 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), AMD EPYC 9755 2P (AIUCpm Total 4073,42, 256 núcleos totais, TDP de 500 W, sistema de referência da AMD, 1,5 TB, 24 DDR5-6400 de 64 GB, 2 Mellanox CX-7 de 40 GbE (MT2910), NVMe Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Determinismo = Potência, Mitigações = ATIVADAS), Intel Xeon 6980P 2P (AIUCpm Total 3550,50, 256 núcleos totais, TDP de 500 W, sistema de produção, 1,5 TB, 24 DDR5-6400 de 64 GB, 4 Broadcom NetXtreme BCM5719 Gigabit Ethernet PCIe de 1 GbE, NVMe SAMSUNG MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu 24.04 LTS kernel 6.13, SMT = ATIVADO, Viés de desempenho, Mitigações = ATIVADAS). Os resultados podem variar com base em fatores que incluem, mas não se limitam a, configurações do sistema, versões do software e configurações do BIOS. TPC, TPC Benchmark e TPC-H são marcas comerciais do Transaction Processing Performance Council.
- 9xx5-162: Resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 08/04/2025. Configurações do XGBoost: v1.7.2, Higgs Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa da CPU 2P 6980P 400 1 2P 9755 436 1,090 2P 9965 771 1,928. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-164: Resultados de produtividade (execuções/hora) do FAISS com base em testes internos da AMD em 08/04/2025. Configurações do FAISS : v1.8.0, sift1m Data Set, instâncias de 32 núcleos, FP32, AMD EPYC 9965 2P (384 núcleos totais), 1,5 TB, 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.5 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, AMD EPYC 9755 2P (256 núcleos totais), 1.5TB 24 DDR5-6400 de 64 GB (a 6.000 MT/s), NIC de 1.0 Gbps, Samsung MZWLO3T8HCLS-00A07 de 3,84 TB, Ubuntu® 22.04.4 LTS, Linux 5.15 kernel, BIOS RVOT1004A, (SMT = desativado, mitigações = ativadas, Determinismo = Potência), NPS=1, Xeon 6980P 2P (256 núcleos totais), 1,5 TB, 24 DDR5-8800 MRDIMM de 64 GB, Ethernet Controller X710 de 1,0 Gbps para 10GBASE-T, Micron_7450_MTFDKBG1T9TFR 2 TB, Ubuntu 22.04.1 LTS Linux 6.8.0-52-generic, BIOS 1.0 (SMT = desativado, mitigações = ativadas, viés de desempenho). Resultados: Produtividade relativa 2P 6980P 36,63 1 2P 9755 46,86 1,279 2P 9965 58,6 1,600. Os resultados podem variar devido a fatores como configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council.