Cinco preguntas sobre el "Proyecto HoloLens" de Microsoft

Anuncio

El miércoles por la mañana, Microsoft mostró un proyecto en el que han estado trabajando durante siete años, un auricular de realidad aumentada llamado Proyecto HoloLens.

La visión es ambiciosa: quieren cambiar fundamentalmente la forma en que las personas interactúan con las computadoras, por construir un par de anteojos que puedan mezclar fluidamente contenido virtual y real en el espacio físico de el usuario. Esto es como tecnología de realidad virtual Por qué la tecnología de realidad virtual te dejará boquiabierto en 5 añosEl futuro de la realidad virtual incluye seguimiento de cabeza, ojos y expresiones, tacto simulado y mucho más. Estas increíbles tecnologías estarán disponibles para usted en 5 años o menos. Lee mas , pero fundamentalmente más poderoso. Además, quieren hacer todo el procesamiento localmente en los anteojos: sin computadora, sin teléfono, sin cables. Incluso están lanzando una versión especial de Windows solo para el nuevo hardware. Esta es la siguiente etapa en la evolución tecnológica para todos aquellos

Juegos AR Aplicaciones de realidad aumentada: ¿útiles o simplemente exageradas? Pruebas MakeUseOfEn 2011, los analistas predijeron el aumento de las aplicaciones móviles de Realidad Aumentada. La tecnología naciente revolucionaría la forma en que interactuamos con nuestros dispositivos móviles. Avance dos años y docenas de aplicaciones AR pueblan todas ... Lee mas instaló en su teléfono esa única vez y no lo ha tocado desde entonces.

Su marco de tiempo es aún más ambicioso que sus objetivos: quieren enviar kits de desarrollador esta primavera y el producto de consumo "durante el marco de tiempo de Windows 10". Aquí está el terreno de juego.

Todo esto suena genial, pero admito un alto grado de escepticismo.

Las tecnologías que utiliza Microsoft tienen desafíos serios y fundamentales, y hasta ahora Microsoft ha sido muy discreto sobre cómo (o si) los han resuelto. Si no los han resuelto, su objetivo de envío dentro de un año es muy preocupante. Lo último que necesitan VR y AR es que una gran empresa envíe otro producto a medio hornear como el Kinect. Recuerda el Proyecto Natal demo de 2009?

Sin más preámbulos, estas son las cinco cosas más importantes que me gustaría saber sobre HoloLens.

¿Es esta una pantalla de campo claro?

Para entender esto, tenemos que mirar un poco más en 3D y cómo funciona. Para tener la sensación de un mundo 3D real y tangible, nuestros cerebros integran muchos tipos diferentes de información. Recibimos pistas profundas sobre el mundo de tres maneras principales:

• Profundidad estéreo - La disparidad entre lo que nuestros dos ojos ven. Fingiendo así es como funcionan las películas en 3D
• Paralaje de movimiento - movimientos sutiles de nuestra cabeza y torso nos dan señales de profundidad adicionales para objetos que están más lejos
• Enfoque óptico - cuando nos enfocamos en algo, las lentes de nuestros ojos se deforman físicamente hasta que se enfoca; Los objetos de campo cercano requieren más distorsión de la lente, lo que proporciona información de profundidad sobre lo que estamos viendo

El enfoque óptico es fácil de comprobar por usted mismo: cierre un ojo y mantenga el pulgar hacia arriba frente a una pared al otro lado de la habitación. Luego, cambie su enfoque de su miniatura a la superficie detrás de él. Al mirar más allá de su pulgar, su pulgar se desenfocará porque la lente de su ojo ahora está menos deformada y no puede recoger correctamente la luz que proviene de él.

Los auriculares VR como el Oculus Rift proporcionan las dos primeras señales con extrema precisión, pero no la última, lo que resulta sorprendentemente bueno: nuestros ojos por defecto se relajan completamente, ya que la óptica enfoca las imágenes ya que a través de la luz provienen de infinita distancia lejos. La falta de la señal de enfoque óptico no es realista, pero generalmente no distrae. Aún puedes tener experiencias de juego muy interesantes 5 experiencias de juego Oculus Rift que te dejarán boquiabiertoAhora que la segunda generación del kit de desarrollo Oculus Rift está disponible y en manos de desarrolladores de todo el mundo, veamos algunas de las mejores cosas que han afectado a Rift hasta ahora. Lee mas sin ello.

En la realidad aumentada, el problema es diferente, porque tienes que mezclar la luz de los objetos reales y virtuales. La luz del mundo real se enfocará naturalmente en una variedad de profundidades. Sin embargo, el contenido virtual estará enfocado a una distancia fija y artificial dictada por la óptica, probablemente en el infinito. Los objetos virtuales no parecerán realmente parte de la escena. Estarán fuera de foco cuando veas cosas reales con la misma profundidad y viceversa. No será posible mover el ojo con fluidez a través de la escena mientras lo mantiene enfocado, como lo hace normalmente. Las claves de profundidad en conflicto serán confusas en el mejor de los casos y repugnantes en el peor.

Para solucionar esto, necesita algo llamado pantalla de campo claro. Las pantallas de campo de luz son pantallas que usan una variedad de lentes pequeños para mostrar la luz enfocada a muchas profundidades simultáneamente. Esto permite al usuario enfocarse naturalmente en la pantalla y (para la realidad aumentada) resuelve el problema descrito anteriormente.

Sin embargo, existe un problema: las pantallas de campo de luz esencialmente asignan una sola pantalla 2D a un campo de luz tridimensional, lo que significa que cada "profundidad píxel "que el usuario percibe (y existe a una profundidad focal particular en la escena) en realidad está formado por luz de muchos píxeles en el original monitor. Cuanto más fina sea la profundidad que desee representar, más resolución tendrá que renunciar.

En general, los campos de luz tienen aproximadamente un ocho veces Disminución de la resolución para dar una precisión de profundidad adecuada Las mejores micropantallas disponibles tienen una resolución de aproximadamente 1080p. Suponiendo que una micropantalla de alta gama controle cada ojo, eso haría que la resolución real de los auriculares de Microsoft sea de solo 500 x 500 píxeles por ojo, menos incluso que el Oculus Rift DK1. Si la pantalla tiene un campo de visión alto, los objetos virtuales serán bloques de píxeles incomprensibles. Si no lo hace, la inmersión sufrirá proporcionalmente. En realidad, nunca podemos ver a través de la lente (solo recreaciones en la computadora de lo que el usuario está viendo), por lo que no tenemos idea de cómo es realmente la experiencia del usuario.

Es posible que Microsoft haya encontrado una solución novedosa para este problema, que permita el uso de una pantalla de campo claro sin el compromiso de resolución. Sin embargo, Microsoft ha sido extremadamente cauteloso sobre su tecnología de visualización, lo que me hace sospechar que no lo han hecho. Aquí está la mejor explicación que hemos llegado hasta ahora (del CABLEADO manifestación).

Para crear imágenes del Proyecto HoloLens, las partículas de luz rebotan millones de veces en el llamado motor de luz del dispositivo. Luego, los fotones entran en las dos lentes de las gafas, donde rebotan entre las capas de vidrio azul, verde y rojo antes de que lleguen a la parte posterior del ojo.

Este tipo de descripción de la tecnología podría significar prácticamente cualquier cosa (aunque, para ser justos con Microsoft, el hardware impresionó a WIRED, aunque el artículo fue ligero en detalles).

No sabremos más con certeza hasta que Microsoft comience a publicar especificaciones técnicas, probablemente dentro de unos meses. En una nota adicional sobre la selección de liendres, ¿es realmente necesario ahogar el proyecto en este discurso de marketing? El procesador dedicado que utilizan para el seguimiento de la cabeza se llama "procesador holográfico" y las imágenes se llaman "hologramas", sin ninguna razón en particular. El producto es lo suficientemente genial como para que realmente no sea necesario dorarlo así.

¿Es el seguimiento lo suficientemente bueno?

El auricular Project HoloLens tiene una cámara de alta profundidad FOV montada en él (como el Kinect), que utiliza para averiguar dónde el auricular está en el espacio (al tratar de alinear la imagen de profundidad que está viendo con su modelo del mundo, compuesto de profundidad pasada imágenes). Aquí está su demostración en vivo de los auriculares en acción.

El seguimiento es impresionante teniendo en cuenta que no utiliza marcadores u otros trucos, pero incluso en ese video (bajo condiciones muy controladas), puede ver una cierta cantidad de bamboleo: el seguimiento no es completamente estable. Eso es de esperar: este tipo de seguimiento de adentro hacia afuera es extremadamente difícil.

Sin embargo, la gran lección del varios prototipos de Oculus Rift Míranos probar The Oculus Rift Crescent Bay en el CES 2015El Oculus Rift Crescent Bay es un nuevo prototipo que muestra algunas mejoras interesantes en la tecnología de realidad virtual. Lo probamos en CES 2015. Lee mas es que la precisión del seguimiento es muy importante. El seguimiento nervioso es simplemente molesto cuando se trata de unos pocos objetos en un mundo real en gran parte estable, pero en escenas como la demostración de Marte que mostraron en su concepto video, donde casi todo lo que está viendo es virtual, el seguimiento impreciso podría llevar a una falta de "presencia" en la escena virtual, o incluso en el simulador enfermedad. ¿Puede Microsoft obtener el seguimiento hasta el estándar establecido por Oculus (precisión de seguimiento submilimétrica y latencia total de menos de 20 ms) para su fecha de envío a finales de este año?

Aquí está Michael Abrash, un investigador de realidad virtual que ha trabajado para Valve y Oculus, hablando del problema

[Debido a que siempre hay un retraso en la generación de imágenes virtuales, [...] es muy difícil lograr que las imágenes virtuales y reales se registren lo suficientemente cerca como para que el ojo no se dé cuenta. Por ejemplo, supongamos que tiene una lata de Coca-Cola real que desea convertir en una lata de AR Pepsi dibujando un logotipo de Pepsi sobre el logotipo de Coca-Cola. Si se necesitan decenas de milisegundos para volver a dibujar el logotipo de Pepsi, cada vez que gire la cabeza, el efecto será que el logotipo de Pepsi parecerá cambiar algunos grados con respecto a la lata, y parte del logotipo de Coca-Cola se hará visible; entonces el logotipo de Pepsi volverá al lugar correcto cuando dejes de moverte. Esto claramente no es lo suficientemente bueno para AR difícil

¿Puede la pantalla dibujar negro?

Otro problema junto con la profundidad focal y el seguimiento tiene que ver con dibujar colores oscuros. Agregar más luz a una escena es relativamente simple, utilizando divisores de haz. Sacar la luz es mucho más difícil. ¿Cómo oscureces selectivamente partes del mundo real? Colocar una pantalla LCD selectivamente transparente no lo cortará, ya que no siempre puede estar en el foco correcto para bloquear lo que está mirando. Las herramientas ópticas para resolver este problema, a menos que Microsoft las haya inventado en secreto, simplemente no existen.

Esto es importante, porque para muchas de las aplicaciones que Microsoft está mostrando (como ver Netflix en tu pared), los auriculares realmente necesitan la capacidad de eliminar la luz que viene de la pared, o de lo contrario su película siempre tendrá un patrón de estuco visible superpuesto: será imposible que las imágenes bloqueen objetos reales en la escena, lo que hace que el uso de los auriculares dependa en gran medida de la iluminación ambiental condiciones De vuelta a Michael Abrash:

[S] o lejos, nada de eso ha surgido en la industria o la literatura de AR, y a menos y hasta que lo haga, AR difícil, en el sentido SF que todos conocemos y amamos, no puede suceder, excepto en la oscuridad.

Eso no significa que AR esté fuera de la mesa, solo que por un tiempo será AR suave, basado en la mezcla aditiva [...] Nuevamente, piense translúcido como "Cazafantasmas". Las imágenes virtuales de alta intensidad sin áreas oscuras también funcionarán, especialmente con la ayuda del oscurecimiento regional o global: simplemente no se verán como parte de lo real mundo.

¿Qué pasa con la oclusión?

"Oclusión" es el término para lo que sucede cuando un objeto pasa frente a otro y le impide ver lo que hay detrás. Para que el escenario virtual se sienta como una parte tangible del mundo, es importante que los objetos reales ocluyan virtual objetos: si levanta la mano frente a una imagen virtual, no podrá verla a través de su mano. Debido al uso de una cámara de profundidad en el auricular, esto es realmente posible. Pero, mira la demostración en vivo nuevamente:

En general, controlan cuidadosamente los ángulos de la cámara para evitar que objetos reales pasen frente a los virtuales. Sin embargo, cuando el demostrador interactúa con el menú de Windows, puede ver que su mano no lo ocluye en absoluto. Si esto está fuera del alcance de su tecnología, es una muy mala señal para la viabilidad de su producto de consumo.

Y hablando de esa interfaz de usuario ...

¿Es esta realmente la interfaz de usuario final?

La interfaz de usuario mostrada por Microsoft en sus videos de demostración parece funcionar usando alguna combinación de mirada y mano seguimiento para controlar un cursor en la escena virtual, mientras usa controles de voz para seleccionar entre diferentes opciones. Esto tiene dos inconvenientes principales: te hace ver como el niño pequeño de Shining que habla con su dedo, pero lo más importante, también representa un paradigma de diseño fundamentalmente defectuoso.

Históricamente, las mejores interfaces de usuario han sido las que traen intuiciones físicas sobre el mundo al mundo virtual. El mouse trajo clics, arrastrar y ventanas. La interfaz táctil trajo deslizar para desplazarse y pellizcar para hacer zoom. Ambos fueron críticos para hacer que las computadoras fueran más accesibles y útiles para la población en general, porque eran fundamentalmente más intuitivas que las anteriores.

VR y AR le dan mucha más libertad como diseñador: puede colocar elementos de la interfaz de usuario en cualquier lugar de un espacio 3D y hacer que los usuarios interactúen con ellos de forma natural, como si fueran objetos físicos. Se sugiere una gran cantidad de metáforas obvias. Toque un elemento de la IU virtual para seleccionarlo. Pellizca para recogerlo y moverlo. Deslícelo para guardarlo temporalmente. Aplastarlo para eliminarlo. Puedes imaginar crear una interfaz de usuario que sea tan intuitiva que no requiera ninguna explicación. Algo que su abuela puede captar instantáneamente, porque está construido sobre una base de intuiciones físicas básicas que todos construyen durante toda una vida de interacción con el mundo. Tómese un minuto y escuche a esta persona inteligente describir qué interfaces inmersivas podrían ser.

En otras palabras, parece obvio (para mí) que una interfaz de usuario inmersiva debería ser al menos tan intuitivo como las interfaces táctiles iniciadas por el iPhone para pantallas multitáctiles 2D. Construir una interfaz para manipular un "mouse" de realidad virtual es un paso atrás y expone cualquier tecnología profunda deficiencias en su tecnología de seguimiento manual o un malentendido fundamental de lo interesante de esta nueva medio. De cualquier manera, es una muy mala señal que este producto sea más que un fracaso colosal a escala Kinect.

Con suerte, Microsoft tiene tiempo para recibir comentarios sobre esto y hacer un mejor trabajo. Como ejemplo, aquí hay una interfaz diseñada por un aficionado para Oculus Rift DK2 y Leap Motion. Una interfaz de usuario inmersiva diseñada por una gran empresa debería ser al menos tan buena.

Una muestra de lo que vendrá

En general, soy extremadamente escéptico del Proyecto HoloLens en su conjunto. Estoy muy contento de que una empresa con los recursos de Microsoft esté investigando este problema, pero me preocupa que estén tratando de acelerar un producto sin resolver algunos problemas técnicos subyacentes críticos, o clavando una buena interfaz de usuario paradigma. El HoloLens es una señal de lo que vendrá, pero eso no significa que el producto en sí mismo vaya a proporcionar una buena experiencia a los consumidores.

Crédito de imagen: cortesía de Microsoft