GPT-3 hinterlassen enormen Kohlenstoff- Fussabdruck

16. November 2022 0 Von Horst Buchwald

GPT-3 hinterlassen enormen Kohlenstoff- Fussabdruck

San Francisco, 16.11.2022

Forscher von Hugging Face haben eine Methode entwickelt, um die gesamten Kohlenstoffemissionen zu schätzen, die von energieintensiven großen Sprachmodellen (LLMs) erzeugt werden.

Die KI-Modelle wie GPT-3 werden auf riesigen Mengen von Textdaten trainiert und sind Dutzende von Gigabytes groß, was ihren Kohlenstoff-Fußabdruck sehr groß macht.

Das Verfahren von Hugging Face schätzt die Kohlenstoffemissionen auf der Grundlage des gesamten Lebenszyklus des KI-Modells, nicht nur der Trainingsphase.

Das Unternehmen testete den Ansatz an seinem BLOOM LLM und berechnete die Energie, die für das Training des Modells auf einem Supercomputer, die Herstellung der Hardware dieses Computers, die Wartung der Computerinfrastruktur und den Betrieb von BLOOM nach der Bereitstellung erforderlich ist.

Der Trainingsprozess selbst verursachte schätzungsweise 25 Tonnen Kohlendioxidemissionen.

Rechnet man die anderen Prozesse hinzu, verdoppelt sich diese Schätzung auf etwa 50 Tonnen, was etwa 60 Transatlantikflügen entspricht, aber immer noch niedriger ist als bei anderen LLMs ähnlicher Größe, so die MIT Technology Review.

Aufrufe: 1