„Bloom“ – wieder ein neues KI- Sprachmodell

„Bloom“ – wieder ein neues KI- Sprachmodell

13. Juli 2022 0 Von Horst Buchwald

„Bloom“ – wieder ein neues KI- Sprachmodellen

San Francisco, 13.7.2022

Auf der Website des KI-Start-ups Hugging Face gibt es einen Hinweis auf „Bloom“. Dabei handelt es sich um ein Open-Source-Sprachmodell, das kostenlos ausprobiert werden ohne es herunterladen zu müssen.

https://huggingface.co/bigscience/bloom

Mit 176 Milliarden Parametern ist Bloom ähnlich groß wie das GPT-3-Modell von OpenAI. Mehr Parameter bedeuten im Allgemeinen ein effektiveres und ausgefeilteres Modell. Zum Schutz vor Missbrauch müssen sich die Nutzer rechtlich verpflichten, Bloom nicht für böswillige Zwecke zu verwenden.

Das frei zugängliche Projekt ist eine Zusammenarbeit zwischen Hugging Face und zwei französischen Supercomputing-Gruppen. Gemeinsam bildeten sie BigScience, eine internationale Forschungsgruppe, die sich aus mehr als 1.000 Mitstreitern zusammensetzt.

Das Textvorhersagemodell kann Texte schreiben und zusammenfassen, Gedichte und Rezepte erstellen, Code ausgeben und vieles mehr. Es unterstützt 13 Programmiersprachen und 46 Sprachen – das erste LLM dieser Größenordnung, das mehrsprachig ist. BigScience erhielt Rechenzeit im Wert von 7 Millionen Dollar auf dem Jean-Zay-Supercomputer in Frankreich.

Im Gegensatz zu anderen großen Sprachmodellen wurde Bloom zusammen mit dem Code und den Datensätzen zur Verfügung gestellt, mit denen es trainiert wurde. Dies ist Teil der Bemühungen, großsprachige Modelle, die Text generieren und auf ihn reagieren, weiter zu demokratisieren und es Forschern zu ermöglichen, ihre potenziellen Schäden zu verringern.

Hintergrund: Anfang dieses Jahres gab Meta Forschern freien Zugang zu OPT-175B, einem Sprachmodell mit 175 Milliarden Parametern, sowie zu den vortrainierten Modellen und dem Code, um sie zu trainieren und einzusetzen. Auch das kleinere Gegenstück, OPT-66B, wurde zum uneingeschränkten Download freigegeben, d. h. es ist keine Zugangsanfrage erforderlich.