Foveated Rendering

Dieses Thema im Forum "VR Technologie" wurde erstellt von MrVR, 3. Januar 2016.

  1. Auf der CES stellt die deutsche Firma SMI die neuste Stufe ihres Eyetracking-Systems vor, mit dessen Hilfe sie sogenanntes Foveated Rendering ermöglicht.

    Der Eyetracker ermittelt dabei mit 250 HZ die genaue Blickrichtung und reduziert in den nicht fixierten Außenbereichen die Auflösung auf gerade einmal 20 Prozent, was aufgrund der hohen Performance seitens des Nutzers aber selbst bei schnellen Pupillenbewegungen nicht wahrgenommen wird. Dadurch ließe sich auch auf deutlich schwächeren Systemen als den lt. Schätzung Nvidia 1 Prozent VR-fähigen PCs eine ordentliche Performance erzielen.

    Wie teuer das System selber ist und ob es sich für einen Einsatz in Consumer-Brillen eignet, ist indes noch offen.

    Quelle: https://vrodo.de/virtual-reality-augentracking-mit-250hz/
     
    #1 MrVR, 3. Januar 2016
    Zuletzt von einem Moderator bearbeitet: 3. Januar 2016
  2. Insgesamt ein interessanter Ansatz, der in der Vergangenheit ja auch schon vielfach diskutiert wurde.

    Ich persönlich glaube auch, dass Eyetracking wegen der in Verbindung mit dieser Technologie möglichen glaubwürdigeren Darstellung von Tiefenunschärfe ganz sicher kommen wird.

    Im Moment wäre die Technik aber vermutlich noch zu teuer / rechenintensiv, um sie in preissensible Consumer-HMDs zu integrieren, selbst wenn dann Foveated Rendering möglich würde, das ja aber auch erstmal unterstützt werden muss.

    Erfreulich indes, dass hier ein deutsches Unternehmen scheinbar technisch recht weit vorn mitspielt.
     
  3. Sag ich doch schon ewig: EyeTracking ist der nächste wichtige Schritt für VR. Darum hab ich auch immer ein Blick für die FOVE übrig, welche vermutlich die erste VR Brille mit EyeTracking auf dem Markt sein wird (und Lighthouse nutzen will).

    Das hier ist nur einer von ein paar Punkten warum EyeTracking wichtig ist:

    - Reduzierung der nötigen Leistung
    - künstliche Tiefenschärfe
    - wissen wohin der Nutzer genau sieht

    Gerade auch letzteres ist für den Nutzer auch wichtig, damit das Spiel/die App weiß wohin man sieht und gerade im Multiplayer macht das einen riesen Unterschied, wenn das Gegenüber einen wirklich ansieht und in die Augen guckt. Das verstärkt dermaßen auf einfache Art das Präsenz Gefühl.

    Kurz: EyeTracking ist einfach ein Win/Win für alle.

    Für die Hersteller, weil sie damit VR noch besser vermarkten können, für die Entwickler, weil sie so noch intensiveres Gameplay liefern können und dabei auch noch die Hardware Anforderungen senken können und für den Nutzer, weil er so eine noch rundere und intensivere VR Erfahrung bekommt.

    Ich sehe sonst bei den aktuellen VR Brillen nichts, was sonst an Technik darin fehlt, das so einen riesen Unterschied macht. EyeTracking hebt VR auf V2.0. Dazu noch ein besseres Display und sonst noch Verfeinerungen und die 2. Generation kann gar nicht schnell genug kommen. ;)
     
  4. lieber sollen die erst bessere Displays einführen bevor EyeTracking kommt.
    EyeTracking + Lichtfeld das sollte dann der nächste Schritt sein.

    mit einem 2,5 K Display hätte man ja die selbe rechen Power die min. benötigt wird mit den aktuellen CV1 Specs abgedeckt.
     
  5. Erst mal ist es wichtiger die nötigsten Features einzubauen, das Display kann man danach immer noch verbessern oder auch gleich mit. EyeTracking ist jedenfalls zu wichtig als es hinter irgend was anderes in der Priorität zu stellen, zumindest innerhalb der VR Brille.
     
  6. Meinst Du, dass das so rechenintensiv ist ? Ansich ist es ja vor allem die Elektronik, die mit 250 Hz die Augenbewegungen erfaßt (wobei das imho logischer wäre, es an die Refresh-Rate des HMDs anzupassen, also 90/120 Hz weil alles da drüber doch ungenutzt bliebe). Ich vermute nicht, dass die selbst wahnsinnig rechenintensiv ausfällt, aber klar, die wird ein optisches Element haben und einen Chip der die Blickrichtungserkennung auswertet. Diese Einheit produziert dann Vektorkoordinaten, wo welches Auge gerade zentral hinschaut, was dann zusammen mit den allgemeinen Positional Tracking Daten an den Rechner übermittelt wird. Und im Rechner wird halt standard jedes Bild so berechnet, dass im Sweetspot voll aufgelöst berechnet würde, dann der Bereich mit 60% und außen 20%. Als Laie stelle ich mir das gar nicht soo rechenintensiv vor ?
     
  7. Wieso sollte mehr Hz ungenutzt bleiben? Im Gegenteil, wenn das EyeTracking doppelt so schnell arbeitet, kann die Software die Richtung in die sich die Pupille bewegt zwischen einem Bild Frame berechnen. Es könnte also sogar nötig sein, damit es optimal funktioniert.

    Das Auge bietet ja einen perfekten Kontrast, die Pupille ist schön dunkel und der Rest ziemlich hell, ideal für Bilderkennung. Die Herausforderung ist daher nicht die Positionserkennung sondern eher die Geschwindigkeit mit der sich die Pupille bewegt.
     
  8. Wenn ich zum Zeitpunkt T0 ein Frame berechne, und dann wieder bei T1, T2 usw., dann nehme ich doch nur die Daten von der letzten Pupillenbewegung ? Wenn ich dann Daten habe für T 0,5 und T1, würde ich doch wieder zu denen von T1 greifen ? Und bei 90Hz glaube ich nicht (ohne es zu wissen) dass das Auge noch viel schneller ist. Mal eben bei Wikipedia geguckt: "[...] Sakkaden in der Regel nach ca. 50 Millisekunden abgeschlossen sind, während Fusionsbewegungen ca. 0,5 bis 1 Sekunde dauern können [...]." Jetzt weiß ich nicht, ob dies die relevanten Augenbewegungen sind, aber dann wäre die Frequenz der Sakkadenbewegungen bei 20 Hz. Wenn sie geradelinig verlaufen, wäre dann theoretisch 20Hz schon ausreichend.

    Wenn ich die Daten von T1 eh frisch für das Frame 1 habe, was brauche ich dann die Daten von T0,5 ? Solange ich keine Zwischenbildberechnung im HMD ausführe, was bei 90Hz HMD's m.W. nicht der Fall sein wird, brauche ich doch auch keine (noch genauere) Prognose wo der User vermutlich bei T1 hinschaut weil ich dann ja die Daten von T1 direkt wieder bekomme?

    Aber ich gebe zu es stellt sich dann die Frage warum MSI 250Hz anstrebt - vielleicht haben sie etwas mehr darüber nachgedacht als ich...
     
  9. ...oder sie hatten die Bauteile im Regal liegen^^
     
  10. War ja auch nur von mir eine Vermutung, aber nur zum Spaß weil sie es können werden sie nicht 250Hz nutzen. ;)

    Vielleicht geht es auch einfach nur darum durch die hohe Rate Fehlerkennungen 100% auszuschließen.

    Und vergiss vor allem eines nicht: die HeadTracking Sensoren der Rift laufen sogar mit 1000Hz, da könnte man genau argumentieren wie du jetzt hier beim EyeTracking. ;)
     

Diese Seite empfehlen