Was ist DeepFovea?

Was ist DeepFovea?

2. April 2020 0 Von Horst Buchwald

Was ist DeepFovea?

Facebook kündigte die Veröffentlichung von DeepFovea an, einem neuen hochmodernen Foveate-Rendering mit KI-Technologie.

New York, 2.4.2020

Die Ingenieure der Facebook Reality Labs haben einen Bildassistenten entwickelt, mit dem ein „plausibles peripheres Bild“ statt der tatsächlichen Bilder erstellt werden kann, die verschwommen und unkonzentriert sind. Diese Bildwiedergabe wird als „Foveated Reconstruction“ bezeichnet, die durch eine 14-fache Komprimierung der Pixel auf dem RGB-Video (Rot, Blau, Grün) erfolgt, ohne dass die Qualität beeinträchtigt wird, und die realistisch und blickabhängig ist.

DeepFovea ist eines der ersten generativen Netzwerke (GAN), das in der Lage ist, natürliche Videosequenzen zu produzieren, sagen die Facebook-Entwickler zu der Technologie. „DeepFovea kann die Menge der für das Rendern benötigten Rechenressourcen um bis zu 10-14x reduzieren, während die Bildunterschiede für das menschliche Auge unmerklich bleiben“, so Facebook.

Foveation bedeutet, ein Auge zu beugen, um die Ansicht zu fokussieren. Wenn das menschliche Auge auf ein Objekt fokussiert, sieht es das Objekt direkt und neigt dazu, die periphere Region auszuschließen, in der Objekte nur vage registriert werden. DeepFovea macht sich die jüngsten Fortschritte bei den generativen Advertialnetzen (GANs) zunutze, einem tiefen maschinellen Lernsystem, das Ergebnisse auf der Grundlage von Beobachtungen vorhersagt, die die fehlenden peripheren Details erzeugen können, indem sie Inhalte erzeugen, die in der Wahrnehmung konsistent sind.

Ein immersives AR/VR-Erlebnis erfordert eine präzise und genaue Eyetracking-Leistung. Die Kameras in den VR-Headsets verfolgen die Bewegung und Position Ihrer Pupillen, so dass die GPU weiß, wo sie für eine qualitativ hochwertige Bildwiedergabe fokussieren muss.  Das Foveated Rendering ist eine wesentliche Komponente der virtuellen Realität (VR) und der erweiterten Realität (AR). Das foveated rendering kann 30 Prozent des Stromverbrauchs des Grafikprozessors einsparen, was zur Verbesserung der Details in den vom Schüler betrachteten Bereichen genutzt werden kann.

DeepFovea liefert qualitativ hochwertigere periphere Renderings mit größerer Effizienz im Vergleich zu dem, was heute für standardmäßige facettierte Renderings verfügbar ist.

Facebook stellt fest, dass die Software 14-fach reduzierte Renderings verwendet und  ausserdem Echtzeit-Vdeos ohne Verzögerung mit Blickerkennung auf der Basis von Deep Machine und KI-Prozessen zu liefert. Dies wird zur Entwicklung besserer VR-Headsets beitragen.

Aktuelle VR- und AR-Headsets sind aufgrund ihres hohen Stromverbrauchs für 3D-Mapping unhandlich und unpraktisch. Die in DeepFovea verwendete foveated Rekonstruktionstechnologie wird die Rendering-Effizienz in aktuellen VR- und AR-Headsets deutlich erhöhen. Facebook gab auf der Oculus Connect 5 im vergangenen Jahr erstmals einen Hinweis auf ihre Arbeit an DeepFovea. Sie sprachen darüber, innerhalb der nächsten fünf Jahre mit hochwertigen VR- und AR-Headsets auf den Markt zu kommen. Sie sagten, dass Foveation in Kombination mit tiefem Lernen und Blickverfolgung eingesetzt werden kann, um hochauflösende Headsets zu liefern.

Die derzeitigen VR- und AR-Headsets sind sperrig und mit ihrem hohen Stromverbrauch für 3D-Mapping unpraktisch. Die Foveation-Rekonstruktionstechnologie, die in DeepFovea verwendet wird, wird die Rendering-Effizienz in den derzeitigen VR- und AR-Headsets erheblich steigern. Facebook hat im vergangenen Jahr auf der Oculus Connect 5 erstmals einen Hinweis auf ihre Arbeit an DeepFovea gegeben. Sie sprachen davon, innerhalb der nächsten fünf Jahre mit High-End-VR- und AR-Headsets auf den Markt zu kommen. Sie sagten, dass Foveation in Kombination mit tiefem Lernen und Blickverfolgung verwendet werden kann, um hochauflösende Headsets zu liefern.

Facebook veröffentlicht eine Musterversion der Netzwerkarchitektur von DeepFovea für Forscher, VR-Ingenieure und Grafiker. Das Unternehmen plant, das Forschungspapier demnächst auf der Siggraph Asia zu präsentieren und wird die Muster nach der Veranstaltung zur Verfügung stellen.