"Aujourd'hui, nous publions un nouveau grand modèle de langage d'IA de pointe appelé LLaMA, conçu pour aider les chercheurs à faire avancer leurs travaux", a déclaré le PDG Mark Zuckerberg dans un message sur Facebook.
Les grands modèles de langage ont pris d'assaut le monde de la technologie. Ils alimentent des outils d'intelligence artificielle, tels que ChatGPT et d'autres modèles conversationnels. Cependant, l'utilisation de ces outils comporte des risques importants, des affirmations plausibles mais fausses, générant un contenu toxique et imitant les biais enracinés dans les données de formation de l'IA.
Pour aider les chercheurs à résoudre ces problèmes, le vendredi 25 février, Meta a annoncé la sortie d'un nouveau grand modèle de langage appelé LLaMA (Large Language Model Méta-IA) .
LLaMA n'est pas un Chatbot, mais c'est un outil de recherche qui, selon Meta ai, résoudra les problèmes liés aux modèles de langage AI. "Des modèles plus petits et plus performants comme LLaMA permettent à d'autres membres de la communauté de recherche qui n'ont pas accès à de grandes quantités d'infrastructures d'étudier ces modèles, démocratisant davantage l'accès dans ce domaine important et en évolution rapide", a déclaré Meta dans son blog. officiel .
LLaMA est une collection de modèles de langage allant de 7B à 65B paramètres. La société a déclaré qu'elle entraînait ses modèles sur des billions de jetons, affirmant qu'elle pouvait entraîner des modèles de pointe à l'aide d'ensembles de données publics et ne pas s'appuyer sur des ensembles de données propriétaires inaccessibles.
Selon Meta, la formation de modèles comme LLaMA nécessite très peu de puissance de calcul pour tester, valider et explorer de nouveaux cas d'utilisation. Les modèles de langage de base s'entraînent sur de grands blocs de données non étiquetées, ce qui les rend idéaux pour la personnalisation de diverses tâches.
Dans son document de recherche, Meta a noté que le LLaMA-13B a surpassé le GPT-3 (175B) d'OpenAI sur la plupart des benchmarks et que le LLaMA-65B est compétitif par rapport aux meilleurs modèles, Chinchilla70B par DeepMind e PaLM-540B de Google.
LLaMA n'est actuellement utilisé sur aucun des produits Meta ai, cependant, la société prévoit de le mettre à la disposition des chercheurs. La société avait déjà lancé son LLM OPT-175B, mais LLaMA est son système le plus avancé.
La société le met à disposition sous une licence non commerciale axée sur les cas d'utilisation de la recherche. Il sera disponible pour les chercheurs universitaires ; ceux affiliés au gouvernement, à la société civile et aux organisations universitaires ; et des laboratoires de recherche industrielle du monde entier.
Ercole Palmeri
Résultat d'une innovation technologique constante et d'un engagement envers l'environnement et le bien-être des personnes. Bandalux présente Airpure®, une tente…
Les modèles de conception sont des solutions spécifiques de bas niveau aux problèmes récurrents dans la conception de logiciels. Les modèles de conception sont…
Magica est l'application iPhone qui rend la gestion des véhicules simple et efficace, aidant les conducteurs à économiser et…
Un graphique Excel est un visuel qui représente des données dans une feuille de calcul Excel.…