MIT – Forscher unternahmen erste Versuche, ein besseres Verständnis für Deeplearning – Netzwerke zu erhalten

MIT – Forscher unternahmen erste Versuche, ein besseres Verständnis für Deeplearning – Netzwerke zu erhalten

New York, 27. Juli 2020

Tief lernende Systeme machen Spracherkennng ebenso möglich wie das autonome Fahren. Doch wie das Deep Learning zu diesen Ergebnissen kommt, ist bis jetzt noch nicht geklärt Eine Gruppe von MIT-Forschern überprüfte kürzlich ihre Beiträge mit dem Ziel, ein besseres theoretisches Verständnis der tiefen Lernnetzwerke zu erhalten.

„Tiefgreifendes Lernen war in gewisser Weise eine zufällige Entdeckung“, erklärten Tommy Poggio, Forscher am McGovern Institute for Brain Research, Direktor des Center for Brains, Minds, and Machines (CBMM) und Eugene McDermott Professor für Gehirn- und Kognitionswissenschaften. „Wir verstehen immer noch nicht, warum es funktioniert.“ Doch langsam nehme ein theoretischer Rahmen Gestalt an. Darum glaubt er „ dass wir jetzt nahe an einer zufriedenstellenden Theorie sind“.
Der jetzige Zeitabschnitt in der Geschichte der Menschheit sei durch eine Überfülle von Daten gekennzeichnet – Daten von Sensoren aller Art, Text, Internet und große Mengen genomischer Daten, die in den Biowissenschaften generiert werden. Computer nehmen heutzutage diese multidimensionalen Datensätze auf und erzeugen eine Reihe von Problemen, die vom verstorbenen Mathematiker Richard Bellman als „Fluch der Dimensionalität“ bezeichnet werden.
Eines dieser Probleme bestehe darin, dass die Darstellung einer glatten, hochdimensionalen Funktion eine astronomisch große Anzahl von Parametern erfordere. Bekannt sei, das tiefe neuronale Netze besonders gut lernen wie solche komplexen Daten dargestellt werden. Doch warum ist das so?
„Tiefes Lernen ist wie Elektrizität, nachdem Volta die Batterie entdeckt hat, aber vor Maxwell“, erklärt Poggio, der der wissenschaftliche Gründungsberater von The Core, MIT Quest for Intelligence, und ein Ermittler im Labor für Informatik und künstliche Intelligenz (CSAIL) am MIT ist. „Nützliche Anwendungen waren nach Volta sicherlich möglich, aber es war Maxwells Theorie des Elektromagnetismus, dieses tiefere Verständnis, das dann den Weg zum Radio, zum Fernsehen, zum Radar, zum Transistor, zu den Computern und zum Internet öffnete“.
Die theoretische Behandlung von Poggio, Andrzej Banburski und Qianli Liao gibt Hinweise darauf, warum tiefes Lernen Datenprobleme wie „den Fluch der Dimensionalität“ überwinden könnte. Ihr Ansatz beginnt mit der Beobachtung, dass viele natürliche Strukturen eine Hierarchie aufweisen. Um das Wachstum und die Entwicklung eines Baumes zu modellieren, müssten wir nicht den Standort jedes einzelnen Zweigs angeben. Stattdessen könne ein Modell lokale Regeln verwenden, um die Verzweigung hierarchisch zu steuern. Das visuelle System des Primaten scheine bei der Verarbeitung komplexer Daten etwas Ähnliches zu tun. Wenn wir natürliche Bilder – einschließlich Bäume, Katzen und Gesichter – betrachten, integriere das Gehirn nacheinander lokale Bildfelder, dann kleine Sammlungen von Feldern und dann Sammlungen von Sammlungen von Feldern.
Für Qianli Lao, Autor der Studie und Doktorand des Department of Electrical Engineering and Computer Sciences sowie Mitglied des CBMM ist „die physikalische Welt kompositorisch – mit anderen Worten, sie setzt sich aus vielen lokalen physikalischen Interaktionen zusammen“, erklärt er. Dies gehe „über Bilder hinaus. Sprache und unsere Gedanken sind kompositorisch, und sogar unser Nervensystem ist kompositorisch, wenn es darum geht, zu verstehen, wie Neuronen miteinander in Verbindung treten“.