Exécutez et déployez des LLM avec LM Studio
Exécutez et déployez localement des LLM avec LM Studio, pour un déploiement simplifié des modèles et l'hébergement local d'API compatibles OpenAI.
Essayez d'utiliser la programmation AMD ROCm™ pour GPU AMD Radeon. Trouvez des exemples de guides pratiques, des outils de développement d'IA en local, des tutoriels, des projets open source, de la documentation et bien plus encore.
Installer ROCm :
Découvrez la pile software ROCm pour les cas d'utilisation de l'IA à l'edge.
Vous souhaitez tester la programmation de GPU AMD Radeon avec ROCm ?
Testez de puissants GPU AMD Radeon pour développer des applications d'IA en local en fonction de votre région.
Explorez d'autres sujets pour trouver des ressources d'apprentissage pertinentes qui vous aideront à rester informé des dernières avancées technologiques d'AMD.
Le développement d'applications d'IA en local sur des GPU est idéal lorsque vous avez besoin d'assurer une faible latence, une réactivité en temps réel, un contrôle des coûts ou une confidentialité des données sans vous appuyer sur le cloud. En programmant les GPU AMD Radeon avec ROCm, les développeurs peuvent exécuter des charges de travail d'IA localement pour des cas d'utilisation tels que les suivants :
Les versions successives de ROCm ont connu des progrès considérables en termes de performances. Consultez la page des résultats de performances pour obtenir un point de référence permettant d'évaluer les performances des GPU AMD Instinct avec le software ROCm lors de l'exécution de modèles d'IA populaires pour l'inférence (par exemple : vLLM, xDiT) et l'entraînement (par exemple : PyTorch, Megatron-LM et JAX MaxText).
Les GPU compatibles avec ROCm AMD Radeon RX, Radeon PRO et Radeon AI Pro offrent de puissantes capacités pour le fine-tuning et l'inférence d'IA en local. PyTorch peut être installé avec ROCm sur ces GPU à l'aide des méthodes d'installation PIP (sous Linux et Windows) ou Docker (sous Linux). L'équipe AMD ROCm contribue activement au développement open source et collabore étroitement avec des organisations à l'origine de frameworks, notamment PyTorch.
Abonnez-vous à la newsletter dédiée à ROCm pour rester informé des dernières versions et obtenir des conseils.