Los nuevos auriculares de Apple vienen con un chip completamente nuevo.
El Vision Pro trae el nuevo silicio de Apple, el chip R1, dedicado al procesamiento de datos en tiempo real de todos los sensores integrados. Es responsable del seguimiento de los ojos, las manos y la cabeza, la representación sin retrasos del entorno del usuario en el modo de transferencia de video y otras funciones de visionOS.
Al descargar la carga de procesamiento del procesador principal y optimizar el rendimiento, el R1 reduce el mareo por movimiento a niveles imperceptibles, ya sea usando el visor en realidad aumentada o realidad virtual modo. Exploremos cómo funciona el chip Apple R1 y lo comparamos con el chip M2 principal, las características de Vision Pro que habilita y más.
¿Qué es el chip R1 de Apple? ¿Como funciona?
El Apple R1, no el chip M2 principal, procesa un flujo continuo de datos en tiempo real que alimentan al Vision Pro a través de sus doce cámaras, cinco sensores y seis micrófonos.
Dos cámaras externas principales registran su mundo, enviando más de mil millones de píxeles a las pantallas 4K de los auriculares cada segundo. Además de eso, un par de cámaras laterales, junto con dos cámaras montadas en la parte inferior y dos iluminadores infrarrojos, rastrean el movimiento de la mano desde una amplia gama de posiciones, incluso en condiciones de poca luz.
Los sensores orientados hacia el exterior también incluyen el escáner LiDAR y la cámara TrueDepth de Apple que captura una mapa de profundidad de su entorno, lo que permite a Vision Pro colocar objetos digitales con precisión en su espacio. En el interior, un anillo de LED alrededor de cada pantalla y dos cámaras infrarrojas rastrean el movimiento de sus ojos, lo que constituye la base de la navegación de visionOS.
El R1 tiene la tarea de procesar los datos de todos esos sensores, incluidas las unidades de medición inercial, con un retraso imperceptible. Esto es de suma importancia en términos de hacer que la experiencia espacial sea fluida y creíble.
¿Cómo se compara Apple R1 con M1 y M2?
El M1 y el M2 son procesadores de propósito general optimizados para computadoras Mac. El R1 es un coprocesador de enfoque limitado diseñado para admitir experiencias de realidad aumentada fluidas. Hace su trabajo más rápido que el M1 o el M2, lo que permite ventajas como una experiencia sin retrasos.
Apple no ha especificado cuántos núcleos de CPU y GPU tiene el R1 ni ha detallado la frecuencia de la CPU y la RAM, lo que dificulta una comparación directa entre el R1, M1 y M2.
Los dominios principales del R1 son el seguimiento de los ojos y la cabeza, los gestos con las manos y el mapeo 3D en tiempo real a través del sensor LiDAR. La descarga de esas operaciones computacionalmente intensivas permite que el M2 ejecute los diversos subsistemas, algoritmos y aplicaciones de visionOS de manera eficiente.
Las características clave del chip R1 de Vision Pro
El R1 tiene estas capacidades clave:
- Procesamiento rápido: Los algoritmos especializados y el procesamiento de señales de imagen en el R1 están optimizados para comprender las entradas del sensor, la cámara y el micrófono.
- Baja latencia: La arquitectura de hardware optimizada da como resultado una latencia muy baja.
- Eficiencia energetica: El R1 maneja un conjunto particular de tareas con un uso mínimo de energía, gracias a su arquitectura de memoria efectiva y al proceso de fabricación de 5nm de TSMC.
En el lado negativo, el diseño de doble chip del Vision Pro y la sofisticación del R1 contribuyen al alto precio de los auriculares y la duración de la batería de dos horas.
¿Qué ventajas trae el R1 al Vision Pro?
El R1 permite un seguimiento preciso de ojos y manos que "simplemente funciona". Para navegar por visionOS, por ejemplo, diriges tu mirada a los botones y otros elementos.
El Vision Pro usa gestos con las manos para seleccionar elementos, desplazarse y más. La sofisticación y la precisión del seguimiento de ojos y manos han permitido a los ingenieros de Apple crear unos auriculares de realidad mixta que no requieren controladores físicos.
La precisión de seguimiento del R1 y el retraso mínimo permiten funciones adicionales, como escribir en el aire en el teclado virtual. El R1 también impulsa el seguimiento confiable de la cabeza, fundamental para crear un lienzo de computación espacial que rodee al usuario. Nuevamente, la precisión es clave aquí: desea que todos los objetos AR mantengan su posición sin importar cómo incline y gire la cabeza.
La conciencia espacial es otro factor que contribuye a la experiencia. El R1 toma datos de profundidad del sensor LiDAR y la cámara TrueDepth, realizando un mapeo 3D en tiempo real. La información de profundidad permite que los auriculares comprendan su entorno, como paredes y muebles.
Esto, a su vez, es importante para la persistencia de AR, que se refiere a la ubicación fija de objetos virtuales. También ayuda a Vision Pro a notificar al usuario antes de que choque con objetos físicos, lo que ayuda a reducir el riesgo de accidentes en las aplicaciones AR.
¿Cómo mitiga el R1 Sensor Fusion el mareo por movimiento AR?
El diseño de chip dual de Vision Pro descarga el procesamiento del sensor del chip M2 principal, que ejecuta el sistema operativo y las aplicaciones visionOS. De acuerdo con la Comunicado de prensa de Visión Pro, el R1 transmite imágenes desde las cámaras externas a las pantallas internas en 12 milisegundos, u ocho veces más rápido que un abrir y cerrar de ojos, lo que minimiza el retraso.
El retraso se refiere a la latencia entre lo que ven las cámaras y las imágenes que se muestran en las pantallas 4K de los auriculares. Cuanto más corto sea el retraso, mejor.
El mareo por movimiento ocurre cuando hay un retraso perceptible entre la información que tu cerebro recibe de tus ojos y lo que percibe tu oído interno. Puede ocurrir en muchas situaciones, incluso en un parque de diversiones, en una paseo en barco o crucero, mientras usa un dispositivo VR, etc.
La realidad virtual puede enfermar a las personas debido a un conflicto sensorial, lo que resulta en síntomas de cinetosis como desorientación, náuseas, mareos, dolores de cabeza, fatiga visual, sentarse, vómitos y otros.
La realidad virtual también puede ser mala para los ojos debido a la fatiga visual, cuyos síntomas incluyen dolor o picazón en los ojos, visión doble, dolores de cabeza y dolor de cuello. Algunas personas pueden sentir uno o más de estos síntomas durante varias horas después de quitarse los auriculares.
Como regla general, un dispositivo VR debe actualizar la pantalla al menos 90 veces por segundo (FPS), y el retraso de la pantalla debe ser inferior a 20 milisegundos para evitar que las personas se mareen.
Con el retraso indicado de solo 12 milisegundos, el R1 reduce el retraso a un nivel imperceptible. Si bien el R1 ayuda a minimizar los efectos del mareo por movimiento, algunos evaluadores de Vision Pro informaron síntomas de mareo por movimiento después de usar los auriculares durante más de 30 minutos.
Los coprocesadores Apple Silicon especializados ofrecen grandes ventajas
Apple no es ajeno a los procesadores especializados. A lo largo de los años, su equipo de silicio ha producido chips móviles y de escritorio que son la envidia de la industria.
Los chips de silicio de Apple dependen en gran medida de coprocesadores especializados para manejar funciones específicas. Secure Enclave gestiona de forma segura los datos biométricos y de pago, por ejemplo, mientras que Neural Engine acelera las funciones de IA sin destruir la batería.
Son ejemplos perfectos de lo que se puede lograr al tener un coprocesador altamente enfocado para el conjunto correcto de tareas vs. usando el procesador principal para todo.