Google will das Training neuronaler Netze mit strukturierten Signalen verbessern

Google will das Training neuronaler Netze mit strukturierten Signalen verbessern

New York, 10.9.2019

Um das Training neuronaler Netze zu verbessern, wird versucht, große Mengen an unterschiedlichen Daten strukturiert und sinnvoll zu machen. Die Technik, genannt Neural Structured Learning (NSL), versucht, das zu nutzen, was Entwickler „strukturierte Signale“ nennen. Im Modelltraining stellen diese Signale die Verbindungen oder Ähnlichkeiten zwischen markierten und nicht markierten Datenproben dar. Die Fähigkeit, diese Signale während des Trainings mit neuronalen Netzwerken zu erfassen, soll die Modellgenauigkeit erhöhen, insbesondere wenn keine beschrifteten Daten vorhanden sind.

NSL-Entwickler bei Google berichteten, dass ihr Framework verwendet werden kann, um genauere Modelle für Machine Vision, Sprachübersetzung und prädiktive Analysen zu erstellen.

Strukturierungssignale, die in NSL verwendet werden, können in Form von expliziten Graphen oder implizit unter dem Deckmantel des gegnerischen maschinellen Lernens vorliegen. Diese Technik wird verwendet, um neuronale Netze zu trainieren und um absichtlich irreführende Daten oder Verhaltensweisen zu erkennen. Letztere Technik, auch bekannt als kontradiktorische Störung, ist dafür bekannt, Modelle gegen Malware zu stärken, die darauf abielt, Modellvorhersagen irrezuführen.

Zusammen mit dem gegensätzlichen Lernen sagten die NSL-Entwickler, dass ihr Ansatz auch neuronales Graphenlernen verwendet. Das Framework, das auf TensorFlow läuft, beinhaltet APIs und andere Tools, die dazu dienen, Modelle mit strukturierten Signalen zu trainieren. Das Toolkit enthält Keras-APIs, die explizites und implizites Training ermöglichen, sowie TensorFlow-Funktionen und Tools zur Erstellung von Grafiken für das Training. Da strukturierte Signale nur während des Trainings berücksichtigt werden, bleibt der grundlegende Inferenz-Workflow unverändert.

NSL wurde bei Google zur Verbesserung der Modellleistung eingesetzt, einschließlich einer Technik namens learning image semantic embedding. Dieser Ansatz beinhaltet die Verwendung von Diagrammen zum Parsen von granularen semantischen Labels, die auf Daten angewendet werden.

Die Diagramme, die in NSL zum Trainieren neuronaler Netze verwendet werden, gibt es in verschiedenen Formen. Darunter sind Wissensgraphen, genomische Daten sowie medizinische Aufzeichnungen. „NSL ermöglicht es TensorFlow-Anwendern, verschiedene strukturierte Signale für das Training neuronaler Netze einfach zu integrieren und arbeitet für verschiedene Lernszenarien: überwachte, teilüberwachte und unbeaufsichtigte (Repräsentations-)Einstellungen“, bemerkten Google-Forscher in einem Blogbeitrag.

In einigen Fällen, so die Entwickler, wird keine explizite Struktur wie Grafiken für das Modelltraining zur Verfügung stehen. In diesem Fall würden NSL-Tools es Entwicklern ermöglichen, Graphen aus unstrukturierten Daten zu erstellen. Die Frameworks beinhalten auch APIs, um kontradiktorische Beispiele in Form von impliziten strukturierten Signalen zu „induzieren“.

Bewusstes Verwirren des Modells während des Trainings sollen das Modell widerstandsfähiger gegen Malware machen. Die Entwickler behaupten auch, dass diese implizite Form des Modelltrainings mit gegnerischem Training die Modellgenauigkeit verbessern kann, wenn bösartige, aber subtile Störungen eingeführt werden.

Details zum NSL-Framework finden Sie in der TensorFlow-Bibliothek zur Entwicklung und Schulung von Modellen für maschinelles Lernen. Der Code für NSL auf TensorFlow ist hier:

here.