Dramatischer Anstieg de Rechenleistung für KI – Training
14. November 2019Dramatischer Anstieg de Rechenleistung für KI – Training
New York, 14.11.2019
Im Jahr 2018 stellte OpenAI fest, dass sich das Volumen an Rechenleistung, die für das Training der größten KI-Modelle verwendet wird, seit 2012 alle 3,4 Monate verdoppelt hat.
Das in San Francisco ansässige, gewinnorientierte KI-Forschungslabor hat nun neue Daten in seine Analyse aufgenommen. Daraus geht hervor, das sich der Strombedarf von 1959 bis 2012 nach dem Moore’schen Gesetz alle zwei Jahre verdoppelte. Heute werde jedoch mehr als das Siebenfache der vorherigen Rate benötigt.
Dieser dramatische Anstieg des Ressourcenbedarfs unterstreicht, wie kostspielig die Entwicklung von KI geworden ist. Dabei seien solche Spitzenleistungen wie Googles großformatiges Sprachmodell BERT, OpenAIs Sprachmodell GPT-2 oder DeepMind’s StarCraft II-Spielmodell AlphaStar darin nicht enthalten.
Im vergangenen Jahr hätten immer mehr Forscher Alarm geschlagen wegen der explodierenden Kosten des tiefen Lernens. Im Juni zeigte eine Analyse von Forschern der University of Massachusetts, Amherst, wie sich diese steigenden Rechenkosten direkt in Kohlenstoffemissionen umsetzen lassen.
In ihrem Beitrag stellten sie auch fest, wie der Trend die Privatisierung der KI-Forschung verschärft, weil er die Fähigkeit der akademischen Labors untergräbt, mit viel ressourcenreicheren privaten Labors zu konkurrieren.
Als Reaktion auf diese wachsende Sorge haben mehrere Industriegruppen Empfehlungen ausgesprochen. Das Allen Institute for Artificial Intelligence, ein gemeinnütziges Forschungsunternehmen in Seattle, hat vorgeschlagen, dass Forscher immer die finanziellen und rechnerischen Kosten für die Ausbildung ihrer Modelle zusammen mit ihren Leistungsergebnissen veröffentlichen.
In seinem eigenen Blog schlug OpenAI vor, dass politische Entscheidungsträger die Mittel für akademische Forscher erhöhen, um die Ressourcenlücke zwischen akademischen und industriellen Labors zu schließen.
