Dans une initiative audacieuse cette année, Google a fait un pas en avant en abandonnant son approche habituelle de code source fermé et a introduit une gamme d’outils open-source destinés à soutenir les projets et les infrastructures d’IA générative. Ce changement marque une avancée significative dans l’engagement de l’entreprise à encourager la bonne volonté des développeurs et à faire progresser ses ambitions d’écosystème.
L’un des outils notables dévoilés par Google est MaxDiffusion, une collection d’implémentations de référence de différents modèles de diffusion. Ces modèles, tels que le générateur d’images Stable Diffusion, sont conçus pour fonctionner sur des dispositifs XLA. XLA, ou Accélération de l’Algèbre Linéaire, désigne une technique qui optimise et accélère des charges de travail en IA spécifiques, notamment le réglage fin et le service. Les processeurs de tenseurs (TPU) de Google et les récents GPU Nvidia font partie des dispositifs XLA.
Google a également lancé Jetstream, un moteur spécialement conçu pour exécuter des modèles d’IA générative, en particulier des modèles de génération de texte. Actuellement limité à la prise en charge des TPUs avec une compatibilité GPU prévue dans le futur, Jetstream offre jusqu’à 3 fois plus de performance par dollar pour des modèles comme Gemma 7B de Google et Llama 2 de Meta. Cette amélioration de performance est cruciale alors que les clients recherchent des piles d’inférence rentables offrant des performances élevées.
« Alors que Jetstream offre des améliorations de performance significatives, les détails derrière l’amélioration de 3 fois revendiquée restent flous », a déclaré Mark Lohmeyer, GM de l’informatique et de l’infrastructure d’apprentissage machine de Google Cloud. Des questions concernant la génération de TPU utilisée, les lignes de base comparées et la définition de la performance ont été soulevées. Google a été contacté pour obtenir des éclaircissements supplémentaires.
MaxText, une autre addition aux contributions open-source de Google, est une collection de modèles d’IA générative de génération de texte ciblant les TPUs et les GPU Nvidia. Gemma 7B, GPT-3 d’OpenAI, Llama 2 et des modèles de Mistral ont été intégrés dans MaxText. Ces modèles peuvent être personnalisés et affinés pour répondre aux besoins spécifiques des développeurs. Google a optimisé leurs performances sur les TPUs et a collaboré avec Nvidia pour améliorer les performances sur de grands clusters de GPU, résultant en une plus grande efficacité énergétique et une optimisation des coûts.
En collaboration avec la startup en IA Hugging Face, Google a créé Optimum TPU pour faciliter le déploiement de certaines charges de travail en IA sur les TPUs. L’objectif principal est de réduire la barrière à l’entrée pour l’adoption de modèles d’IA générative, en particulier des modèles de génération de texte, sur du matériel TPU. Actuellement, Optimum TPU ne prend en charge que Gemma 7B et l’entraînement de modèles génératifs sur les TPUs n’est pas encore pris en charge. Cependant, Google a assuré que des améliorations sont à l’horizon.
Ces outils open-source de Google ont le potentiel de révolutionner le domaine de l’IA générative et d’encourager les développeurs à explorer de nouvelles possibilités. En ouvrant l’accès à des modèles d’IA puissants et à une infrastructure, Google permet l’innovation et la collaboration au sein de la communauté de développeurs. Avec des améliorations continues et des avancées promises, l’avenir s’annonce prometteur pour le développement de l’IA générative.
FAQ
Qu’est-ce que MaxDiffusion ?
MaxDiffusion est une collection d’implémentations de référence de modèles de diffusion conçus pour fonctionner sur des dispositifs XLA. Ces modèles optimisent et accélèrent des charges de travail spécifiques en IA, y compris le réglage fin et le service.
Qu’est-ce que Jetstream ?
Jetstream est un moteur développé par Google pour exécuter des modèles d’IA générative, en particulier des modèles de génération de texte. Il offre une performance supérieure par dollar et est actuellement limité à la prise en charge des TPUs, avec une compatibilité GPU prévue à l’avenir.
Optimum TPU est-il disponible pour l’entraînement de modèles génératifs sur les TPUs ?
Actuellement, Optimum TPU prend uniquement en charge l’exécution de modèles génératifs sur les TPUs. L’entraînement de modèles génératifs sur les TPUs n’est pas encore pris en charge mais pourrait l’être à l’avenir.
Sources :
The source of the article is from the blog enp.gr