OpenAI: Neues Sprachmodell GPT-3 vorgestellt
2. Juni 2020OpenAI: Neues Sprachmodell GPT-3 vorgestellt
New York, 1.6.2020
OpenAI hat sein neuestes Sprachmodell, GPT-3, mit 175 Milliarden Parametern vorgestellt. Mehr als 30 OpenAI-Forscher veröffentlichten ein Papier über das Modell, das bei einer Reihe von Benchmarks und Aufgaben der natürlichen Sprachverarbeitung, wie der Generierung von Nachrichtenartikeln und der Übersetzung von Sprachen, modernste Ergebnisse erzielen kann.
Das 72-seitige Papier, Language Models are Few-Shot Learners, wurde letzte Woche auf dem arXiv Pre-Print-Server veröffentlicht. GPT-3, das auf dem Common-Crawl-Datensatz trainiert wurde, kann zwei Größenordnungen mehr Text verarbeiten als GPT-2, sein Vorgänger, der Ende letzten Jahres in vollem Umfang veröffentlicht wurde.
https://arxiv.org/abs/2005.14165
Die 175 Milliarden Parameter von GPT-3 – eine Berchnung über ein neuronales Netzwerk – übertrifft die größte Version der 1,5 Milliarden Parameter von GPT-2 und die 17 Milliarden Parameter von Microsoft Turing-NLG. GPT-3 erzielte fast die modernsten Ergebnisse in den Leseverständnisdatensätzen von COPA und ReCoRD, blieb aber bei den Schulprüfungsfragen für die Wort-in-Context-Analyse (WiC) und RACE hinter den Erwartungen zurück.
OpenAI hatte es abgelehnt, sich dazu zu äußern, wann eine Vollversion von GPT-3 veröffentlicht werden könnte.
