Forscher verwandeln mit KI menschliches Gehirn in Bilder
9. März 2023Forscher verwandeln mit KI menschliches Gehirn in Bilder
Tokio, 9.3.2023
Wissenschaftler der Universität Osaka verwendeten KI-Modelle, um Scans des menschlichen Gehirns in Bilder umzuwandeln, die dem ähneln, was die Person gesehen hat.
Die Forscher verwendeten den Bildgenerator Stable Diffusion des Start-ups Stability AI, um die Bilder zu rekonstruieren. Die KI-Methode könnte nachbilden, was Testpersonen gesehen haben, indem sie ihre Gehirnscans gelesen haben.
Die Forscher verwendeten funktionelle Magnetresonanztomographie (fMRI)-Scans, die verarbeitet wurden, während den Teilnehmern einer früheren Studie unterschiedliche Bilder gezeigt wurden, wie z. B. ein Teddybär und ein Flugzeug.
Sie trainierten zunächst ein Modell, um die im frühen visuellen Kortex der Teilnehmer angezeigten fMRI-Daten mit den von ihnen betrachteten Bildern zu verknüpfen.
Anschließend trainierten sie ein zweites Modell, um Bildbeschreibungen und fMRT-Daten mit dem ventralen visuellen Kortex zu verbinden.
Sobald diese Modelle erstellt waren, speisten sie die Bildgebungsdaten des Gehirns in Stable Diffusion ein, das in der Lage war, die von den Teilnehmern betrachteten Bilder mit einer Genauigkeit von etwa 80 % zu rekonstruieren.
Bemerkenswerterweise umfasste die Studie nur Gehirnscans von vier Teilnehmern, und die KI-Modelle mussten an jede Person angepasst werden, was laut Sikun Lin von der University of California, Santa Barbara, „langwierige Gehirnscansitzungen und riesige fMRT-Geräte“ erforderte .
Das Preprint-Papier „Hochauflösende Bildrekonstruktion mit latenten Diffusionsmodellen aus menschlicher Gehirnaktivität“ wurde gemeinsam von Shinji Nishimoto und Yu Takagi von der Graduate School of Frontier Biosciences (FBS) an der Universität Osaka verfasst.
