Sind Meta’ s Aussagen zu den LlaMA -Modellen übertrieben?

Sind Meta’ s Aussagen zu den LlaMA -Modellen übertrieben?

San Francisco, 6.3.2023

Meta Platforms hat sein neues LLaMA (Large Language Model Meta AI) veröffentlicht- doch vorerst nur für Forscher.

Meta-KI-Forscher haben eine Sammlung von LLaMA-Modellen entwickelt, von denen sie behaupten, dass sie die GPT-3 von OpenAI übertreffen können, obwohl sie kleiner sind.

Ein Meta-Sprecher erklärte, dass diese neuen Sprachmodelle nicht in Metas Produkten wie Instagram oder Facebook verwendet werden. Die Modelle sind 7 bis 65 Milliarden Parameter groß- und somit erheblich kleiner als die 175 Milliarden Parameter von GPT-3.

Eines dieser Modelle, LLaMA-13B, ist zum Beispiel zehnmal kleiner als GPT-3 und soll es – so ein Projektmitglied – dennoch bei „den meisten Benchmarks“ übertreffen. Alle LLaMA-Modelle wurden mit öffentlich zugänglichen Datensätzen wie Wikipedia und Common Crawl trainiert.

Meta sagt, es werde die Modelle akademischen Forschern „von Fall zu Fall“ zur Verfügung stellen. Weiter heisst es, dass die Forscher „mit Organisationen in der Regierung, der Zivilgesellschaft und der Wissenschaft sowie mit Industrieforschungslabors verbunden sein werden.“