AMD Ryzen AI Software banner

Visão geral

O software AMD Ryzen™ AI inclui ferramentas e bibliotecas de tempo de execução para otimizar e implantar AI Inference em PCs com tecnologia AMD Ryzen AI.1. O software Ryzen AI possibilita que os aplicativos sejam executados na NPU (neural processing unit, unidade de processamento neural) incorporada à arquitetura AMD XDNA™, o primeiro chip de processamento de IA dedicado em um processador Windows x862 com suporte a uma GPU integrada (iGPU).

Saiba mais sobre o software Ryzen AI
Ampliar imagem
Ryzen developer flow diagram

Fluxo de desenvolvimento

O desenvolvimento de aplicativos de IA para o Ryzen AI pode ser resumido em três etapas simples:

Comece com um modelo pré-treinado
Use um modelo pré-treinado no PyTorch ou no TensorFlow como ponto de partida. Em seguida, converta seu modelo para o formato ONNX, que é compatível com o fluxo de trabalho do Ryzen AI.

Quantização
Quantize seu modelo convertendo seus parâmetros de representações de ponto de flutuação para representações de precisão mais baixa, como inteiros de 16 ou 8 bits. O Vitis™ AI Quantizer para ONNX fornece um fluxo de PTQ (Post Training Quantization, Quantização pós-treinamento) fácil de usar para essa finalidade.

Implante o modelo
Após a quantização, seu modelo está pronto para ser implantado no hardware. Use o ONNX Runtime com APIs C++ ou Python para implantar o modelo de IA. O Provedor de execução do Vitis AI incluído no ONNX Runtime otimiza as cargas de trabalho, garantindo o desempenho ideal e menor consumo de energia.

Comece a usar o software Ryzen AI

Começar

O que há de novo 

Destaques da versão 1.6

  • Desempenho aprimorado e tempo de compilação reduzido para o compilador BF16
  • Novo compilador Integer com suporte para quantização assimétrica geral (A8W8, A16W8)
  • Conjunto expandido de modelos exclusivos de NPU com desempenho otimizado (mais tokens por segundo em KRK e GPT)
  • O comprimento do contexto aumentou até 4K para todos os LLMs
  • Suporte adicional para novas arquiteturas de LLM: Phi-4 e Qwen-3
  • Suporte para resolução dinâmica para SD 3.0/3.5, com ganhos de desempenho em outros modelos SD, incluindo novas adições (SD2.1-v 768×768 text2image, SDXL-base 1024×1024 text2image)
Notas da versão completas

Destaques da versão 1.5

  • Novos recursos
    • Gere imagens usando pipelines de difusão estável (SD 1.5, 2.1, SDXL e 3.0).
    • Integre recursos de conversão de fala em texto com suporte para os modelos Zipformer e Whisper-base.
    • Otimize a capacidade de resposta do sistema com a opção Preempção, que aloca dinamicamente recursos de computação para tarefas de alta prioridade.
Notas da versão completas

Destaques da versão 1.4

  • Novos recursos
    • Instalador unificado com LLM e fluxo de modelo geral (INT8, BF16), uma experiência contínua com suporte para todos os tipos de modelos em um pacote de versão única.
    • Primeira versão do suporte do Windows para a compilação e a quantização de modelos BF16 para cargas de trabalho de CNN e NLP.
    • Suporte para Fluxo de OGA para LLM, facilitando a implantação eficiente de LLMs.
  • Suporte a modelos novos de LLM
    • Série DeepSeek-R1 Distill: Llama-8B, Qwen-1.5B, Qwen-7B 
    • Série Qwen2: Qwen2-1.5B, Qwen2-7B 
    • Gemma2-2B 
    • AMD-OLMO-1B-SFT-DPO  
    • Codellama-7B, Mistral-7B e muito mais
Notas da versão completas

Recursos técnicos

Destaques da versão 1.3

  • Novos recursos 
    • Suporte antecipado para o quantizador unificado AMD “Quark”
    • Suporte para tipos de dados de precisão mista e aplicativos Copilot+
    • Atualização da ferramenta de criação de perfil CNN 
  • Suporte ao novo modelo para fluxo ONNX-GenAI (OGA) 
    • Llama2-7B-Chat/Meta-Llama-3.1-8B
    • Phi-3-Mini-4K-Instruct/Phi-3.5-Mini-Instruct
    • Mistral-7B-Instruct-v0.3
Notas da versão completas

Recursos técnicos

Destaques da versão 1.2

  • Novo suporte arquitetônico 
    • Suporte para o Strix (STX): NPUs AMD Ryzen™ AI 9 HX370 e Ryzen AI 9 365 
    • Suporte unificado para GPU integrada (iGPU) e NPU por meio do software Ryzen AI
  • Novas ferramentas, modelos e recursos de acesso antecipado 
    • Nova ferramenta de análise, criação de perfil e visualização para modelos em execução na NPU (AI Analyzer)
    • Nova ferramenta de inspeção e gerenciamento de plataforma/NPU (xrt-smi)
    • Suporte a fluxo de LLM para vários fluxos no PyTorch e no ONNX
Notas da versão completas

Recursos técnicos

Destaques da versão­ 1.1

  • Suporte a novos modelos:
    • Llama 2 7B com quantização w4abf16 (3 bits e 4 bits) (Beta)
    • Base Whisper (acesso antecipado)
  • Novas ferramentas e recursos de EoU:
    • Ferramenta de referência CNN sobre representantes do software Ryzen AI
    • Ferramenta de inspeção e gerenciamento de plataforma/NPU

Recursos técnicos

Destaques da versão 1.0

  • Suporte a modelos
    • Mais de mil modelos CNN validados
    • OPT-1.3B na NPU usando fluxos PyTorch e ONNX
  • Ferramentas e recursos de EoU
    • Suporte a PTQ (Post Training Quantization, Quantização pós-treinamento) ONNX, PTQ PyTorch e QAT (Quantization Aware Training, Treinamento com reconhecimento de quantização)
    • Suporte ao Provedor de execução do Vitis AI do ONNX Runtime com APIs C++ e Python
    • Programação automática de até 8 sessões de inferência simultâneas na NPU

Recursos técnicos

Projetos de código aberto

Conheça as ferramentas de código aberto da AMD que capacitam os desenvolvedores a analisar, otimizar e implantar modelos de IA com eficiência em diversos hardwares.

Digest AI

O Digest é uma poderosa ferramenta de análise de modelos desenvolvida para ajudar você a extrair informações valiosas de seus modelos de aprendizado de máquina, possibilitando otimização e modificação direta. 

Source Code Saiba mais

GAIA

O GAIA é um aplicativo de IA generativa que demonstra um pipeline de RAG multiagente executando LLMs privados e locais em hardware de CPU, GPU e NPU.

Source Code Saiba mais

TurnkeyML e Lemonade

O TurnkeyML simplifica o uso de ferramentas dentro do ecossistema ONNX oferecendo CLIs sem código e APIs de código baixo. Com o Turnkey, você pode exportar e otimizar modelos ONNX para CNNs e Transformers. Com o Lemonade, você pode executar e avaliar o desempenho de LLMs em CPUs, GPUs e NPUs.

Source Code Saiba mais

Inscreva-se nas novidades do Ryzen AI

Fique por dentro dos últimos lançamentos de produtos, notícias e dicas.

Inscreva-se
Notas de rodapé
  1. A tecnologia do Ryzen™ AI é compatível com todos os processadores AMD Ryzen™ Série 7040, exceto o Ryzen™ 5 7540U e o Ryzen™ 3 7440U. Requer ativação do OEM. Verifique a disponibilidade dos recursos com o fabricante do sistema antes da compra. GD-220.
  2. A partir de maio de 2023, a AMD terá o primeiro mecanismo de IA dedicado disponível em um processador x86 Windows. "Mecanismo de IA dedicado" é definido como um mecanismo de IA que não tem nenhuma função além de processar modelos de inferência de IA e que faz parte do die do processador x86. Para obter informações detalhadas, consulte: https://www.amd.com/pt/technologies/xdna.html. PHX-3a
  3. Com base em testes realizados pela AMD em 05/06/2023. Os resultados da duração da bateria avaliados pela operação de uma videoconferência simulada do Microsoft Teams com nove participantes usando um processador Ryzen™ 7940HS com o Ryzen AI™ e placa de vídeo Radeon integrada com Windows Studio Effects, em comparação com o NVIDIA Broadcast em recursos de desfoque de fundo e ajuste de olhar aprimorados por IA com placa de vídeo dedicada NVIDIA GeForce RTX 4070. Os dois sistemas AMD/NVIDIA funcionam a partir do nível de energia 100% a> 5% a 150 nits de brilho e modo de energia definido para "eficiência de energia". Configurações do sistema: notebook Razer Blade de 14”, processador AMD Ryzen™ 9 7940HS com Ryzen™ AI, placa de vídeo AMD Radeon integrada (driver 22.40.03.24), LPDDR5 de 16 GB (2 de 8 GB), armazenamento SSD NVME, Windows 11 Home 22H, placa de vídeo NVIDIA GeForce RTX 4070 (driver 528.92) com NVIDIA Broadcast.   Os fabricantes de sistemas podem variar as configurações, gerando resultados diferentes. Os resultados podem variar. PHX-51