Natürlich ist eye Tracking für AR sehr wichtig. Mal die sozialen Aspekte und Foveated Rendering ausgeblendet, kann es z.B. für die Auswahl digitaler Objekte verwendet werden. Ein ganz simples Scenario wäre doch die tägliche Büroarbeit. Ihr habt mehrere Fenster um euch herum angeordnet mit denen ihr gleichzeitig Arbeitet. Wenn ihr bei schreiben oder mit dem Mauscursor zu einem anderen Fenster wechseln wollt, dann müsst ihr das Fenster nur mit dem Blick anvisieren um es auszuwählen. Wenn ihr mit mehreren Monitoren arbeitet bewegt ihr ja auch nicht euren Kopf. Zumal man mit einer AR Brille Fenster ja auch in den Hintergrund schieben kann so das eine Auswahl mit der Kopfbewegung nicht möglich ist. Oder wollt ihr beim Arbeiten jedes Mal wenn ihr ein Fenster wechseln wollt mit der Hand in der Luft rum fuchteln, oder die Fenster mit der Tastatur durchklicken. Durch Eye-Tracking lässt sich im Bereich AR also vorallem der Bediencomfort erheblich verbessert.
Also das ist natürlich ein guter Punkt. Wenn die Menus und Verzeichnisstrukturen in VR/AR so angeordnet sind, dass eine präzise Auswahl mit den Pupillen erreicht werden kann, wäre eyetracking dann ja universal einsetzbar und könnte Maus oder Trackpad überflüssig machen... das wär´ schon super. Unmittelbarer ist eine Steuerung vom Userinterface kaum noch vorstellbar. @axacuatl Wenn ich dran denke, wie sehr schon allein der Hotspot der Linsen in detaillierteren Spielen oder Experiences den - ich sage es mal vorsichtig - Eindruck trübt, möchte ich nicht wissen, wie das aussieht, wenn dann noch dazu der periphere Sichtbereich runterskaliert würde. Es wird wohl sowieso eine höhere Auflösung der Displays erfordern, damit es nicht nur bei "Comicgrafiken" gut funktioniert. Muss man mal abwarten, bis man damit Erfahrungen sammeln kann.
Ich glaube, Du irrst Dich hier - die Prämisse ist, dass man die Bereiche nur in dem Maße in gröberer Auflösung rendert, in dem es dem User nicht auffällt, er also keinen Unterschied feststellen kann, egal ob nun mit oder ohne Foveated Rendering gerechnet. Wie das schon sagt, der User merkt keinen Unterschied. Da ist es egal, ob Comicgrafik oder Witcher III. Wenn Dein Auge im peripheren Sichtfeld nur noch grobe Umrisse und Fraben wahrnimmt, kannst Du mit noch so viel Mühe dort keine HD Auflösungsunterschiede im Vergleich zur SD wahrnehmen. Außer, wenn Du doch schnell dahinguckst - und dann wird genau der Bereich in voller Auflösung gerendert. Aber wenn Du es mir nicht glaubst: hier der Bericht von RoadtoVR über SMI: "Can I detect when Foveated rendering is on or off? The answer is ‘yes’, but it’s something you really need to look for (or, as it happens, look away for). With SMI’s current system, the lower detail portions of the image are in your peripheral vision, and for me they caused a slight shimmering to appear at the very edge of my vision." http://www.roadtovr.com/hands-on-smi-proves-that-foveated-rendering-is-here-and-it-really-works/ Es ist natürlich noch ein Prototyp, also hier mit bewußter Konzentration noch wahrnehmbar - sie werden es noch perfektionieren, oder einfach weniger aggressiv einsetzen, also z.B. den zentralen Fokusbereich großzügiger ziehen. Ich gehe davon aus, dass man es in einer kommerziellen Version nicht mehr bewußt wahrnehmen kann, wenn man nicht besonders aggressive Einstellungen verwendet. Wenn es darum geht, ob ich ich ein 4K HMD mit richtig guten Grafikeinstellungen betreiben kann dank Foveated Rendering, oder ich muß die Grafik substantiell zurückschrauben, weil 100% voll berechnet werden, dann ist der Effekt von Letzterem im Vergleich doch, dass es im zentralen Fokusbereich wesentlich mäßiger aussieht - halt so, als würdest Du jetzt ein Witcher III auf Deinem Monitor von high auf medium oder low Grafik einstellen. Diesen Trade Off mit einer im schlechtesten Fall kaum, im besten Fall gar nicht wahrnehmbaren Verschlechterung der peripheren Qualität nehme ich jederzeit in Kauf ! Wenn Dein Rechner in 2 Jahren alles in voll dennoch auf maximaler Grafikqualität in 4K in 90 Hz berechnen kann, gratuliere, dann brauchst Du es nicht. Für alle anderen ist es aber ein großes Ding.
Danke für den Link erstmal. Theoretisch klingt das alles schon gut und sinnvoll, würde dazu aber trotzdem lieber Praxiserfahrungen abwarten. Vieles von dem beispielhaft Angeführten gibt es praktisch noch gar nicht, wie z.B. 4K HMDs, Witcher 3 VR. So, wie ich es bisher verstanden haben, wurde die Technik mit einem speziellen HMD und einer speziellen Software gezeigt, könnte mir vorstellen, dass beides genau für den Vorführeffekt und das, was darin zu sehen ist, optimiert wurde. Aber wie verhält sich die Technik mit den vielen verschiedenen Grafikengines und Anwendungsszenarien? Wie mit den Schnittstellen der verschiedenen Anbieter? Wie mit den Auflösungen und Latenzen / FPS der verschiedenen Hardware? Wusste gar nicht, dass SMI ein deutsches Unternehmen ist. Ist vielleicht nicht so schlecht, wenn Apple als Investor dahinter steht und Geld nach Deutschland pumpt, da kann SMI auf jeden Fall seine Technik weiterentwickeln und später auch direkt weltweit vermarkten. Wie es bei Marktreife dann aussehen wird, ob nur Apple die Technik für die eigenen AR/VR Geräte nutzt und nicht-Apple-Geräte davon ausgeschlossen werden oder ob die Technik, wenn sie gut funktioniert, dann von anderen Designern in einer eigenen Entwicklung für Windows PC HMDs verfügbar wird, ist jetzt noch gar nicht absehbar. Eines muss man Apple aber lassen, sie bringen immer solide, gut durchdachte und designte Produkte raus. Vielleicht kann Apple so wieder an seine Erfolge durch Produkte mit innovativen Techniken anschließen.
eye tracking ist schon sinnvoll, falls gut integriert. wichtiger finde ich bessere Linsen (z.B.: DK2 B-linsen) ... gugst Du erst mit auge, dreht sich auch der kopp. frage mich aber immer noch warum apfel dies für AR benötigt, wollen die nun doch VR ?
@VFX1.VFX3D Wenn ich ein AR Sichtfeld mit digitalen Inhalten ausfülle, ist es doch quasi auch VR. Ich glaube, die deuten jetzt erstmal an, für AR zu entwickeln, weil es prestigeträchtiger ist und innovativer klingt, VR ist doch aber naheliegender und greifbarer für die Entwicklung in diese Richtung. Abwarten ...
hehe, "Wenn ich ein AR Sichtfeld mit digitalen Inhalten ausfülle, ist es doch quasi auch VR. " jepp, da will VR lt. marketing ja auch hin, so nen kleines dignens alla sonnenbrille -taucherbrille ist ja out. frage mich aber immer wie soll die aussehen / funktionieren (FoV)
Über Foveated Rendering sprechen wir ja auch realistisch erst für die nächste CV Generation, die in 2018/19 rauskommt. Aber auch dann packen die dann erhältlich besseren Rechner noch keine 4K Auflösung in 90 Hz — es sei denn, Foveated Rendering greift dort unter die Arme. Ich weiß, es ist auch noch fraglich, ob sie da schon 4K Displays verbauen —aber so könnten Sie es wenigsten machen, wenn die bezahlbar sind, sonst wäre das irrelevant und sie würden es schon wegen der zu hohen Anforderungen an den PC sein lassen. Ein wesentlicher Grund, weshalb VR nicht nicht so ganz abgeht, ist doch die miese Auflösung. Es ist ein Riesendruck in dieser Industrie, da schnell auf eine vernünftige Auflösung zu kommen, die man auch für Office Anwendungen mit Dokumenten, Kino Apps usw. vernünftig nutzen kann. Sobald sie das packen, und es dennoch auf einem guten Rechner auch in vernünftiger Grafikqualität läuft, haben sie eine der größten Hürden gemeistert. Dabei hilft Foveated Rendering.
