Denkt Ki wie ein Mensch?

10. April 2022 0 Von Horst Buchwald

San Francisco, 9.4. 2022

Beim maschinellen Lernen ist wichtig zu verstehen, warum ein Modell bestimmte Entscheidungen trifft und ob diese Entscheidungen richtig sind. Das Problem: Modelle werden in der Regel anhand von Millionen von Dateneingaben trainiert, so dass es für einen Menschen fast unmöglich ist, genügend Entscheidungen auszuwerten, um Muster zu erkennen.

Es gibt zwar Tools, die den Experten dabei helfen, die Argumentation eines Modells zu verstehen, aber diese Methoden sind begrenzt, denn sie können nur den Entscheidungsprozess für ein Muster nachvollziehen.

Ein MIT-IBM- Projektteam entwickelte jetzt jedoch eine Methode, wonach es möglich ist, dass die Benutzer die einzelnen Erklärungen aggregieren, sortieren und schliesslich das Verhalten eines maschinellen Lernmodells analysieren können. Ihre Technik, Shared Interest genannt, beinhaltet quantifizierbare Metriken, die vergleichen, wie gut die Argumentation eines Modells mit der eines Menschen übereinstimmt. Die Hauptautorin Angie Boggust ist überzeugt. Mit Hilfe von Shared Interest könnte ein Benutzer auf einfache Weise auffällige Trends in der Entscheidungsfindung eines Modells aufdecken.

„Bei der Entwicklung von Shared Interest ist es unser Ziel, diesen Analyseprozess so zu erweitern, dass man auf einer globaleren Ebene verstehen kann, wie sich das Modell verhält“, betonte die Doktorandin in der Visualisierungsgruppe des Computer Science and Artificial Intelligence Laboratory (CSAIL).

Boggust schrieb die Arbeit zusammen mit ihrem Berater Arvind Satyanarayan, einem Assistenzprofessor für Informatik, der die Visualisierungsgruppe leitet, sowie mit Benjamin Hoover und Hendrik Strobelt, beide von IBM Research. Die Arbeit wird auf der Conference on Human Factors in Computing Systems vorgestellt.

Die Technik funktioniert in ähnlicher Weise bei textbasierten Daten, bei denen Schlüsselwörter anstelle von Bildregionen hervorgehoben werden.

Anhand von drei Fallstudien zeigten die Forscher, wie nützlich Shared Interest sowohl für Laien als auch für Forscher im Bereich des maschinellen Lernens sein kann. In der ersten Fallstudie verwendeten sie Shared Interest, um einem Dermatologen bei der Entscheidung zu helfen, ob er einem maschinellen Lernmodell vertrauen sollte, das anhand von Fotos von Hautläsionen eine Krebsdiagnose erstellen sollte. Shared Interest ermöglichte es dem Dermatologen, schnell Beispiele für richtige und falsche Vorhersagen des Modells zu sehen. Letztendlich entschied der Dermatologe, dass er dem Modell nicht trauen konnte, weil es zu viele Vorhersagen machte, die auf Bildartefakten und nicht auf tatsächlichen Läsionen basierten.

„Der Wert liegt darin, dass wir mit Hilfe von Shared Interest sehen können, wie sich diese Muster im Verhalten unseres Modells abzeichnen. In etwa einer halben Stunde konnte der Dermatologe eine sichere Entscheidung darüber treffen, ob er dem Modell vertraut und es einsetzt oder nicht“, sagt Boggust.

In der zweiten Fallstudie arbeiteten sie mit einem Forscher im Bereich des maschinellen Lernens zusammen, um zu zeigen, wie Shared Interest eine bestimmte Hervorhebungsmethode bewerten kann, indem es zuvor unbekannte Fallstricke im Modell aufdeckt. Ihre Technik ermöglichte es dem Forscher, Tausende von richtigen und falschen Entscheidungen in einem Bruchteil der Zeit zu analysieren, die bei typischen manuellen Methoden erforderlich ist.

In der dritten Fallstudie nutzten sie Shared Interest, um ein bestimmtes Bildklassifizierungsbeispiel zu vertiefen. Durch die Manipulation des „Ground-Truth“-Bereichs des Bildes konnten sie eine „Was-wäre-wenn“-Analyse durchführen, um festzustellen, welche Bildmerkmale für bestimmte Vorhersagen am wichtigsten waren.

Die Forscher waren beeindruckt, wie gut Shared Interest in diesen Fallstudien funktionierte. Doch Boggust warnt, dass die Technik nur so gut ist wie die Erkennungsmethoden, auf denen sie basiert. Wenn diese Verfahren Verzerrungen enthalten oder ungenau sind, dann erbt Shared Interest diese Einschränkungen.

In Zukunft soll Shared Interest auf andere Datentypen angewendet werden, insbesondere auf tabellarische Daten, wie sie in Krankenakten verwendet werden. Außerdem wollen sie Shared Interest zur Verbesserung der aktuellen Auffälligkeitstechniken einsetzen. Boggust hofft, dass diese Forschung zu weiteren Arbeiten anregt, die darauf abzielen, das Verhalten von Modellen des maschinellen Lernens auf eine Weise zu quantifizieren, die für den Menschen sinnvoll ist.

Diese Arbeit wird zum Teil vom MIT-IBM Watson AI Lab, dem United States Air Force Research Laboratory und dem United States Air Force Artificial Intelligence Accelerator finanziert