Aller au contenu

LLaMA

Un article de Wikipédia, l'encyclopédie libre.

LLaMA (Large Language Model Meta AI) est un grand modèle linguistique développé par Meta et rendu publiquement accessible[1]. Deux autres versions du modèle plus spécifiques, optimisées à partir de LLaMA, ont également été publiées par Meta : un agent conversationnel, appelé Llama Chat, et un assistant de programmation, Code Llama. D'autres modèles de langage comme Alpaca ont également vu le jour en entrainant les poids de Llama sur de nouvelles données[2].

Origine du nom

[modifier | modifier le code]

LLaMA est l'acronyme de Large Language Model Meta AI (Grand modèle de Language Meta IA en français). Cet acronyme est l'homographe du nom anglais (lui-même emprunté au quechua, via l'espagnol)[3] du lama, un camélidé sud-américain. Cette ressemblance est probablement souhaitée pour une meilleur mémorabilité.

De ce choix de nom est dérivé celui d'Alpaca, l'agent conversationnel basé sur LLaMA, car l'alpaga (alpaca en anglais) est un autre camélidé d'Amérique du Sud.

Version initiale

[modifier | modifier le code]

La version initiale a été publiée en février 2023, en quatre tailles différentes : 7, 13, 33 et 65 milliards de paramètres. À l'origine, seuls la méthodologie, l'architecture des modèles et les résultats expérimentaux furent publiés. Seuls certains chercheurs qui en ont fait la demande peuvent avoir accès au modèle[4].

Le 3 mars 2023, une semaine après la publication de la méthodologie et de l'architecture, un fichier torrent contenant l'intégralité du modèle est publié sur 4chan[5].

Llama 2

[modifier | modifier le code]

En juillet 2023, Meta publie une deuxième version, en trois tailles différentes cette fois: 7B[6], 13B[7] et 70B[8]. La version en 34B a été entrainé par Meta également mais dû à un manque de temps, ils n'ont pas pu publier ce modèle. L'architecture est sensiblement la même mais l'entrainement a été réalisé à partir d'un corpus environ 40% plus volumineux[9]. Cette-fois, Meta publie elle-même les paramètres dès la sortie du modèle.

Avec la publication de Llama 2, Meta publie Llama 2-Chat, une version de Llama optimisée pour les dialogues[9]. Trois versions du modèle sont disponibles: 7B, 13B et 70B.

Code Llama

[modifier | modifier le code]

Peu de temps après, en août 2023, Meta dévoile Code Llama et ses variations Code Llama Instruct et Code Llama Python[10]. Ces modèles sont basés sur Llama 2 et ajustés finement sur du code. Ils sont d'abord disponibles en open source en version 7B, 13B et 34B, puis le 29 janvier 2024 une version en 70B est également publiée[11].

Llama 3

[modifier | modifier le code]

Le 18 avril 2024, Meta lança Llama 3 en version 8 et 70 milliards de paramètres. Ces modèles furent pré-entraînés sur environ 15 000 trilliards de jetons de texte provenant de « sources disponibles publiquement »[12], les modèles d'instructions étant fine-tunés sur « des ensembles de données d'instructions disponibles publiquement, ainsi que sur plus de 10 millions d'exemples annotés par des humains ». Meta prévoit de sortir des modèles multimodaux, des modèles capables de converser dans plusieurs langues, et des modèles avec des fenêtres de contexte plus larges. Une version de 405 milliards de paramètres est annoncée à la mi-2024[13].

Deux sous-versions de Llama 3 sont ensuite lancées par Meta :

Avec cette dernière génération, Meta introduit deux modèles multimodaux : Llama 3.2 90B et 11B. Le groupe sort aussi deux premiers mini-modèles, 1B et 3B, destinés à être utilisés sur des terminaux légers (ordinateurs portables ordinaires et smartphones).

Poids ouverts plutôt qu'Open source

[modifier | modifier le code]

LLaMA se présente comme un modèle ouvert, mais ni le code d'entrainement ni les données d'entrainement ne le sont, ce qui fait préférer le terme de « poids ouverts »[18],[19]. Le dépôt contient le code source d'inférence et de la documentation (guide de l'utilisateur, guide de l'utilisateur responsable et model card) permettant une bonne utilisation du modèle. Utiliser LLaMA implique d'accepter les termes de la license de LLaMA qui notamment interdit certains cas d'utilisation du modèle[20]. En respectant les termes de la license, il est possible d'utiliser, de reproduire, de distribuer, de copier, de créer des œuvres dérivées et d'apporter des modifications aux différents composants de LLaMA mis à disposition, y compris pour une activité lucrative.

Tout comme tous les autres grands modèles linguistiques actuels (août 2024), il nécessite que ces paramètres (poids) soient stockés dans la mémoire vive, pour s'exécuter à une vitesse raisonnable, ce qui rend les grands modèles souvent inaccessibles pour des ordinateurs personnels. Certains services en ligne proposent de passer par leur serveur pour utiliser LLaMA.

Partenariat avec Reuters

[modifier | modifier le code]

Après l'annonce d'un partenariat entre Meta et Reuters pour l'utilisation des contenus de l'agence dans les chatbots Meta AI, basés sur Llama, il n'était pas clair si ces articles allaient intégrer le corpus de formation de Llama, ou seulement être utilisés comme sources (en direct) pour répondre à des requêtes spécifiques (actualité, politique, économie...)[21].

Notes et références

[modifier | modifier le code]
  1. ↑ (en) « Llama », sur Llama (consulté le )
  2. ↑ « Alpaca: A Strong, Replicable Instruction-Following Model », sur crfm.stanford.edu (consulté le )
  3. ↑ https://www.merriam-webster.com/dictionary/llama
  4. ↑ Antoine Messina, « LLaMA, le modèle de langage de Meta, a fuité », sur Siècle Digital, (consulté le )
  5. ↑ Mélicia Poitiers, « LLaMA, le dernier modèle d'IA générative de Meta, a été partagé illicitement sur Internet », Usine Digitale,‎ (lire en ligne, consulté le )
  6. ↑ « meta-llama/Llama-2-7b · Hugging Face », sur huggingface.co (consulté le )
  7. ↑ « meta-llama/Llama-2-13b · Hugging Face », sur huggingface.co (consulté le )
  8. ↑ « meta-llama/Llama-2-70b · Hugging Face », sur huggingface.co (consulté le )
  9. ↑ a et b Hugo Touvron, Louis Martin, Kevin Stone et Peter Albert, « Llama 2: Open Foundation and Fine-Tuned Chat Models », arXiv,‎ (DOI 10.48550/ARXIV.2307.09288, lire en ligne, consulté le )
  10. ↑ (en) « Introducing Code Llama, a state-of-the-art large language model for coding », sur ai.meta.com (consulté le )
  11. ↑ « Avec Code Llama 70B, Meta améliore la génération de code - Le Monde Informatique », sur LeMondeInformatique, (consulté le )
  12. ↑ (en) « LLaMa3 Model », (consulté le )
  13. ↑ (en-US) Armand Ruiz, « Meta releases new Llama 3.1 models, including highly anticipated 405B parameter variant », sur IBM Blog, (consulté le )
  14. ↑ « Meta sort Llama 3.1, un modèle d'IA gratuit encore plus puissant que ses concurrents », sur www.lesnumeriques.com, (consulté le )
  15. ↑ « Avec Llama 3.1, 405B, Meta dans la cour des LLM XXL - Le Monde Informatique », sur LeMondeInformatique, (consulté le )
  16. ↑ Victor Lafosse-Barthès, « Ce qu'il faut savoir sur Llama 3.2 », sur Ariel World, (consulté le )
  17. ↑ Célia Séramour, « Llama 3.2 : Meta pousse une mise à niveau majeure avec des versions multimodales et compactes », Usine-digitale.fr,‎ (lire en ligne)
  18. ↑ (en) « Meta’s LLaMa 2 license is not Open Source », sur opensource.org
  19. ↑ (en) « GitHub - facebookresearch/llama at llama_v1 », sur GitHub (consulté le )
  20. ↑ (en) « Download Llama », sur Llama (consulté le )
  21. ↑ « Intelligence artificielle: Meta signe un accord avec l’agence de presse Reuters », sur Le Figaro, (consulté le )

Voir aussi

[modifier | modifier le code]

Articles connexes

[modifier | modifier le code]

Liens externes

[modifier | modifier le code]

v · m
Texte
Images
Vidéos
Musiques
Prompt
Entreprises
Critiques
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=LLaMA&oldid=220340959 ».