KI- Netze haben enormen Energiebedarf/ MIT-Forscher präsentieren die Lösung

KI- Netze haben enormen Energiebedarf/ MIT-Forscher präsentieren die Lösung

New York, 29.5.2020

Im vergangenen Juni veröffentlichten Forscher der University of Massachusetts in Amherst einen verblüffenden Bericht, in dem sie schätzten, dass die für das Training und die Suche in einer bestimmten neuronalen Netzwerkarchitektur erforderliche Energiemenge den Ausstoß von etwa 626.000 Pfund Kohlendioxid mit sich bringt. Das entspricht fast dem Fünffachen der Lebenszeitemissionen eines durchschnittlichen US-Autos, einschließlich seiner Herstellung.
Dieses Problem verschärft sich noch in der Phase der Modelleinführung, in der tiefe neuronale Netze auf verschiedenen Hardware-Plattformen mit jeweils unterschiedlichen Eigenschaften und Rechenressourcen eingesetzt werden müssen.
MIT-Forscher haben ein neues automatisiertes KI-System für das Training und den Betrieb bestimmter neuronaler Netzwerke entwickelt. Die Ergebnisse deuten darauf hin, dass das System durch die Verbesserung der Recheneffizienz des Systems in einigen Schlüsselbereichen die damit verbundenen Kohlenstoffemissionen senken kann – in einigen Fällen bis auf niedrige dreistellige Werte.
Das System der Forscher trainiert ein großes neuronales Netzwerk, das aus vielen vortrainierten Subnetzwerken unterschiedlicher Größe besteht, die ohne Umschulung auf verschiedene Hardware-Plattformen zugeschnitten werden können. Dadurch wird die Energie, die normalerweise erforderlich ist, um jedes spezialisierte neuronale Netz für neue Plattformen zu trainieren – die Milliarden von Internet of Things (IoT)-Geräten umfassen können – drastisch reduziert. Beim Einsatz des Systems zum Trainieren eines Computer-Vision-Modells schätzten sie, dass der Prozess im Vergleich zu den heutigen hochmodernen Suchansätzen für neuronale Architekturen etwa 1/1.300 der Kohlenstoffemissionen benötigt, während die Inferenzzeit um das 1,5- bis 2,6-fache reduziert wird.
„Das Ziel sind kleinere, grünere neuronale Netze“, sagt Song Han, Assistenzprofessor im Fachbereich Elektrotechnik und Informatik. „Die Suche nach effizienten neuronalen Netzarchitekturen hat bisher einen riesigen Kohlenstoff-Fußabdruck hinterlassen. Aber wir haben diesen Fußabdruck mit diesen neuen Methoden um Größenordnungen reduziert“.
Die Arbeit wurde auf Satori durchgeführt, einem effizienten Rechencluster, der dem MIT von IBM gestiftet wurde und 2 Billiarden Berechnungen pro Sekunde durchführen kann. Das Papier wird nächste Woche auf der Internationalen Konferenz über Lernende Repräsentationen vorgestellt. Neben Han sind vier Studenten und Doktoranden von EECS, dem MIT-IBM Watson AI Lab und der Shanghai Jiao Tong University an dem Papier beteiligt.

Schaffung eines „Einmal-für-alle“-Netzwerks
„Wie trainieren wir all diese Netzwerke effizient für ein so breites Spektrum von Geräten – von einem 10-Dollar-IoT-Gerät bis hin zu einem 600-Dollar-Smartphone? Angesichts der Vielfalt der IoT-Geräte werden die Berechnungskosten für die Suche nach neuronalen Architekturen explodieren“, sagt Han.
Die Forscher erfanden ein AutoML-System, das nur ein einziges, großes „Einmal-für-Alles“-Netzwerk (OFA) trainiert, das als „Mutter“-Netzwerk dient und eine extrem hohe Anzahl von Teilnetzen verschachtelt, die vom Mutternetz aus nur spärlich aktiviert werden. OFA teilt all seine gelernten Gewichte mit allen Subnetzen – d.h. sie sind im Wesentlichen vortrainiert. Auf diese Weise kann jedes Subnetz zur Inferenzzeit ohne Umschulung unabhängig arbeiten.