¿Puede la realidad virtual cortar el cordón?

Anuncio

No peleemos palabras: estoy visiblemente excitado por Valve nuevo casco de realidad virtual Valve y HTC anuncian que se enviarán nuevos auriculares VR para Navidad 2015Los nuevos auriculares VR de Valve son los mejores que el mundo haya visto. ¿Oculus tiene una oportunidad? Lee mas .

El Vive, creado en asociación con HTC, cuenta con un seguimiento perfecto de su cabeza y dos controladores, una cómoda resolución de 2160 x 1200 y una pantalla OLED de 90 hz ultra nítida. Sus saliendo este año, y ofrece experiencias interactivas de realidad virtual que proporcionan una sensación sostenida de presencia física en la escena virtual.

Para tener una idea de cuán bueno es el seguimiento, mira este video de "The Gallery", un juego de realidad virtual que se juega en Vive.

El desafío de la realidad virtual de libre itinerancia

El Vive es fantástico. Sin embargo, si lee las reseñas de los auriculares prototipo que están llegando, comenzará a notar que una queja específica sigue apareciendo.

Venture Beat:

"Durante mi prueba con el prototipo, usé un cinturón para mantener un paquete de cables fuera de mi camino, y ahora que lo pienso, Valve debe haber tenido a alguien caminando conmigo para asegurarse de que no tropecé con ninguna holgura que creé mientras me movía por el habitación."

PC MAG:

"Debido a que es una experiencia totalmente interactiva, es necesario limpiar los muebles del centro de una habitación e intentar no tropezar con el cable que se dirige a la PC".

Gizmodo:

"Y ese es probablemente el principal punto débil con HTC Vive. Es como La matriz en eso se siente real pero también en que estás conectado a una PC con un cable que sale de la parte posterior de tu cabeza. Eso ocasionalmente limitará su libre movimiento y es a veces (pero no con frecuencia, en mi experiencia) un peligro de tropiezo. No es un muy gran problema pero notable de todos modos ".

Algo de esto se debe a que el auricular es un prototipo con cinco cables (la versión para el consumidor debe tener solo uno, un cable combinado USB y HDMI que conecta el auricular a la PC). Sin embargo, el problema parece ser fundamental para los auriculares con cable que te permiten caminar libremente Míranos probar The Oculus Rift Crescent Bay en el CES 2015El Oculus Rift Crescent Bay es un nuevo prototipo que muestra algunas mejoras interesantes en la tecnología de realidad virtual. Lo probamos en CES 2015. Lee mas . Los cables son un peligro de tropiezo, y también son un fastidio. Evitan que saque su dispositivo VR de la habitación, mucho menos de la casa.

Esto se convertirá en un problema a medida que comencemos a usar VR como una interfaz básica para nuestros sistemas operativos.

No teníamos PC por mucho tiempo antes de que quisiéramos una versión móvil de la experiencia (computadoras portátiles, teléfonos inteligentes y tabletas). La realidad virtual será de la misma manera, particularmente cuando comencemos a integrar características de realidad aumentada a lo largo de las líneas de Microsoft HoloLens 8 usos del mundo real para Microsoft HoloLensHoloLens de Microsoft es genial, pero ¿para qué lo usarás realmente? Agotamos las posibilidades más emocionantes. Lee mas .

Desafortunadamente, resulta que desconectar los auriculares de realidad virtual de las PC es un gran desafío tecnológico, y uno que todavía no sabemos cómo resolver. Sin embargo, hay dos tecnologías prometedoras en el horizonte que pueden ayudar a resolver el problema.

Solución # 1: Transmisión de PC

Un enfoque obvio para el programa es usar su PC para renderizar el mundo virtual y luego transmitir las imágenes renderizadas a los auriculares a través de WiFi (como Steamlink, que transmite juegos desde tu PC a tu TV). El problema con este enfoque es la latencia. En realidad virtual, desea minimizar el retraso entre moverse y ver ese movimiento reflejado en la pantalla. El punto óptimo se acepta generalmente en menos de 20 milisegundos.

La transmisión de video moderna puede reducirse a menos de un milisegundo de latencia, lo cual es un gran comienzo. Desafortunadamente, una transmisión de video de 1440p 90hz sin comprimir tiene casi 8 gigabits por segundo de datos. Los enrutadores WiFi de consumo pueden manejar alrededor de 100 megabits. Incluso los enrutadores industriales de gama alta alcanzan el máximo en alrededor de 800 megabits, ocho veces menos de lo necesario. Para solucionar esto, debe comprimir las imágenes antes de enviarlas. El proceso de compresión y descompresión agrega sobre 80 ms de latencia, que será enfermarte

Hay algunas posibles soluciones a este problema:

Mejoras de ancho de banda

Un enfoque es tratar de aumentar la cantidad de ancho de banda disponible. Las redes 5G, que estarán disponibles en cinco años, pueden permitir velocidades de alrededor de un terabit por segundo, lo que podría manejar HMD futuristas de 8K sin compresión. En el término más cercano, Li-Fi (una tecnología de Internet basada en LEDS de pulso rápido) podría permitir velocidades de transferencia de 10 GB / sa latencias muy bajas, lo que permitir versiones inalámbricas de auriculares VR de la generación actual en los próximos años, aunque la tecnología no está disponible para los consumidores todavía.

Esta es probablemente la mejor solución al problema, pero no estará disponible para los consumidores durante al menos uno o dos años, puede ser costoso, y la resolución probablemente va a la zaga de los auriculares con cable de gama alta hasta las redes 5G adecuadas llegar.

Deformación local

Una opción más compleja sería aceptar los 80 ms de latencia e intentar corregirlo después del hecho, deformando la imagen anterior a la nueva posición de la cabeza. Esto todavía produce algún retraso de entrada, pero no el tipo de movimiento de cabeza nauseabundo.

El enfoque estándar para este tipo de problema es la distorsión de tiempo asíncrona, que recopila datos de la PC y los deforma utilizando un pequeño GPU en el auricular para mostrar la imagen anterior desde una nueva perspectiva, lo que permite que el auricular se actualice de manera fluida a pesar de la alta latencia.

A primera vista, esto suena como una bala mágica. Desafortunadamente, hay algunas grandes capturas. Para citar a Michael Antonov, un investigador de Oculus,

“El evaluador posicional es uno de los artefactos más obvios con distorsión de tiempo de orientación solamente. Cuando mueve la cabeza, solo el componente rotacional adicional se refleja en las imágenes generadas por ATW, mientras que cualquier movimiento de la cabeza traslacional desde que se renderizó el marco se ignora. Esto significa que a medida que mueve la cabeza de lado a lado, o incluso simplemente gira la cabeza, lo que traduce sus ojos, verá una vibración de múltiples imágenes en los objetos que están cerca de usted.

[…]

Una posible forma de abordar la evaluación posicional es implementar la deformación posicional completa, que aplica tanto las correcciones de traducción como de orientación al marco renderizado original. La deformación posicional debe tener en cuenta la profundidad del fotograma renderizado original, desplazando partes de la imagen en diferentes cantidades. Sin embargo, dicho desplazamiento genera artefactos de disoclusión en los bordes de los objetos, donde se descubren áreas del espacio que no tienen datos en el marco original ".

Existen varias tecnicas para crear datos para llenar los agujeros creados por la distorsión de tiempo posicional, pero todos ellos dejan artefactos, y los que dejan la menor cantidad de artefactos son los más costosos desde el punto de vista computacional. El problema es similar al que enfrentan aquellos tratando de mostrar video de profundidad VR La realidad virtual está a punto de cambiar el cine para siempre: así es comoLa realidad virtual es una nueva forma de comunicarse con su espectador, y muchas personas con experiencia en cine tradicional encuentran emocionantes las posibilidades. Lee mas .

Para solucionar este problema perfectamente, los desarrolladores tienen que encontrar alguna forma de transmitir datos adicionales para completar los huecos. Algunos enfoques posibles:

• Renderice los objetos de campo lejano y de campo cercano por separado y transmita ambas imágenes
• Renderizar un campo de luz, que se puede volver a proyectar mediante grandes desplazamientos de cabeza sin desenfoque
• Desarrolle modelos de movimiento de cabeza extremadamente sofisticados y use predicciones para minimizar los errores de desoclusión

No está claro cuál es la mejor solución aquí. Ninguno de los enfoques que conocemos es perfecto, y algunos de ellos requieren más investigación. Descubrir si la re-proyección es una buena idea se reduce a cuánto podemos minimizar los artefactos. Es una posibilidad prometedora, pero hay muchas preguntas sin respuesta.

Solución # 2: Renderizado local

Una estrategia completamente diferente es olvidar la PC y hacer la representación local en los auriculares. Así es como funcionan HoloLens de Microsoft y Gear VR de Samsung. No se sabe mucho sobre los HoloLens Cinco preguntas sobre el "Proyecto HoloLens" de MicrosoftEl nuevo auricular de realidad aumentada de Microsoft es muy emocionante, pero ¿pueden resolver los problemas fundamentales de AR? Lee mas , pero el Gear VR tiene una serie de limitaciones serias. Su GPU móvil puede manejar algunas experiencias modestas de realidad virtual (con optimización intensiva), pero apenas. La gestión del calor es un problema., la resolución y la frecuencia de actualización no se elevan al nivel necesario para la presencia en la escena, y el auricular no tiene seguimiento posicional. Algo de esto se debe a las limitaciones de la tecnología móvil, y mejorará pronto, impulsado por la marea de la Ley de Moore.

Sin embargo, algunos de estos problemas son el resultado de tener que diseñar un teléfono inteligente que no haya sido diseñado para la realidad virtual. Si estuviera construyendo un auricular VR móvil desde cero, podría hacer muchas cosas de manera diferente. Los diseñadores podrían tener dos GPU móviles de alta gama, una pantalla de actualización muy alta y una gran batería. También podrían extender los componentes para una mejor distribución del peso y control del calor. El factor de forma resultante podría parecerse mucho al Sony Morpheus.

O, si los ingenieros quisieran ser ambiciosos, podrían construir algo más como una mini PC: un pequeño bloque portátil de computronium que contiene una o más GPU para computadoras portátiles, un ventilador y una batería grande. Este dispositivo tendría un factor de forma similar a un Walkman y conduciría un HMD a través de un solo cable.

La GPU insignia actual de NVIDIA, la GTX 980, que es lo que Oculus usa internamente, es solo un 40% más rápido que su contraparte móvil, el 980M, y es minúsculo. Probablemente sea posible colocar dos de ellas en una riñonera, con espacio de sobra para el resto de las tripas de una pequeña PC móvil.

Nota para los desarrolladores de hardware: bajo ninguna circunstancia permita que la prensa describa su producto como una "riñonera".

Este factor de forma sería más grueso que un auricular autónomo, sin mencionar que es costoso: la parte posterior del sobre matemático sugiere un precio de alrededor de $ 2500. Es posible que los consumidores modernos no estén interesados ​​en productos poco manejables. Sin embargo, es la única forma en que un auricular VR móvil ofrece un rendimiento competitivo con PC VR, y sospecho que los jugadores incondicionales y otros irredimibles lo harán. Hay una larga historia de nerds que lideran la tecnología al estar dispuestos a usar productos que los hagan parecer ridículos.

En este momento, los auriculares móviles tienen la incapacidad de proporcionar un seguimiento posicional, lo que provoca una sensación nauseabunda de que el mundo está unido a tu torso cuando intentas moverte. Sin embargo, este problema puede resolverse pronto. A corto plazo, Valve's Tecnología de seguimiento posicional "faro" es una gran solución: los proyectores láser son tontos, lo que significa que pueden colocarse en mosaico para cubrir grandes espacios y pueden servir muchos dispositivos a la vez. Como resultado, en los próximos años, el seguimiento de faros podría convertirse en un servicio económico que los hogares y las empresas proporcionan, al igual que WiFi hoy en día, lo que le permite usar hardware móvil VR en la mayoría de los interiores espacios

A largo plazo, a medida que las cámaras de profundidad mejoren en resolución y nivel de ruido, debería ser posible usarlas para el seguimiento posicional, con suficiente precisión para proporcionar una sensación de presencia de realidad virtual. Esto permitirá productos VR autónomos adecuados para uso en exteriores y realidad aumentada.

El futuro de la realidad virtual móvil

A la larga, los auriculares móviles son hacia donde va la tecnología VR.

Podemos hacer los cálculos de la ley de Moore averiguando cuántas duplicaciones estamos lejos de poder renderizar mundos virtuales fotorrealistas en dispositivos móviles. Las PC de gama alta están quizás a cinco duplicaciones (otra generación de consolas) lejos de poder ofrecer experiencias de juego fotorrealistas a 1080p. Para VR, necesitamos una duplicación para 3D, y tres más para renderizar a 8K por ojo necesarios para eliminar el desenfoque y el efecto de puerta de pantalla. Para dar cuenta de la plataforma móvil, necesitamos alrededor de cuatro duplicaciones más para alcanzar las PC de gama alta.

Si suma todas las duplicaciones y multiplica por los dieciocho meses dictados por la ley de Moore, obtendrá aproximadamente veinte años (2035), que es el punto en el que nadie podrá distinguir entre una escena de realidad virtual renderizada en un teléfono inteligente y una renderizada en una PC de juegos de alta gama. En ese punto, no habrá ninguna razón para volver a usar auriculares con PC.

Hasta que llegue ese día, sospecho que veremos auriculares VR con cable e inalámbricos VR controlados por PC por un tiempo. Los auriculares inalámbricos serán más convenientes, pero los auriculares con cable ofrecerán una mejor resolución, al menos hasta que las redes 5G estén completamente maduras.

En el otro lado de la brecha, los auriculares móviles continuarán mejorando y le quitarán participación de mercado a la PC a medida que avanzamos suficiente en la curva de rendimientos decrecientes, con más y más personas dispuestas a sacrificar una modesta cantidad de fidelidad por flexibilidad. La competencia será feroz y, con suerte, buena para el consumidor. Personalmente, no puedo esperar.

¿Emocionado por los auriculares inalámbricos? ¿Conoces una tecnología que nos perdimos? ¡Háganos saber en los comentarios!

Créditos de imagen: Barone Firenze A través de Shutterstock, "Grabando Isan’s ...", por Edvvc, "Phubby", De Kevin Lin," HTC VR ", de HTC,"Enlace de Steam", Por Valve,"Ley de Moore", Por Wikimedia