¿Qué es el Neural Engine de Apple y cómo funciona?

Su iPhone, iPad, Mac y Apple TV utilizan una unidad de procesamiento neuronal especializada llamada Apple Neural Engine (ANE) que es mucho más rápida y más eficiente energéticamente que la CPU o la GPU.

ANE hace posible funciones avanzadas en el dispositivo, como el procesamiento de lenguaje natural y el análisis de imágenes, sin tener que recurrir a la nube ni utilizar una potencia excesiva.

Exploremos cómo funciona ANE y su evolución, incluida la inferencia y la inteligencia que potencia en las plataformas de Apple y cómo los desarrolladores pueden usarla en aplicaciones de terceros.

¿Qué es el motor neuronal de Apple (ANE)?

Apple Neural Engine es el nombre comercial de un grupo de núcleos de cómputo altamente especializados optimizados para la ejecución energéticamente eficiente de redes neuronales profundas en dispositivos Apple. Acelera los algoritmos de aprendizaje automático (ML) y de inteligencia artificial (AI), ofreciendo tremendas ventajas de velocidad, memoria y potencia sobre la CPU o GPU principal.

ANE es una gran parte de por qué los últimos iPhone, iPad, Mac y Apple TV responden y no se calientan durante los cálculos pesados ​​​​de ML e IA. Desafortunadamente, no todos los dispositivos Apple tienen un ANE: el Apple Watch, las Mac basadas en Intel y los dispositivos anteriores a 2016 carecen de uno.

El primer ANE que debutó dentro del chip A11 de Apple en el iPhone X de 2017 fue lo suficientemente potente como para admitir Face ID y Animoji. En comparación, el último ANE del chip A15 Bionic es 26 veces más rápido que la primera versión. Hoy en día, ANE habilita funciones como Siri sin conexión, y los desarrolladores pueden usarlo para ejecutar modelos ML previamente entrenados, liberando la CPU y la GPU para enfocarse en tareas que se adaptan mejor a ellos.

¿Cómo funciona el motor neuronal de Apple?

ANE proporciona control y lógica aritmética optimizada para realizar operaciones informáticas extensas como multiplicación y acumulación, comúnmente utilizada en algoritmos ML e AI como clasificación de imágenes, análisis de medios, traducción automática y más.

De acuerdo a patente de manzana titulado "Motor plano multimodo para procesador neuronal", ANE consta de varios núcleos de motor neuronal y uno o más circuitos planos multimodo.

El diseño está optimizado para computación paralela, donde muchas operaciones, como multiplicaciones de matrices que se ejecutan en billones de iteraciones, deben realizarse simultáneamente.

Para acelerar la inferencia en los algoritmos de IA, ANE utiliza modelos predictivos. Además, ANE tiene su propio caché y solo admite algunos tipos de datos, lo que ayuda a maximizar el rendimiento.

Funciones de IA impulsadas por ANE

Estas son algunas de las características del dispositivo con las que puede estar familiarizado y que ANE hace posible.

• Procesamiento natural del lenguaje: Reconocimiento de voz más rápido y confiable para Dictado y Siri; Aprendizaje de lenguaje natural mejorado en la aplicación Translate y en todo el sistema; Traducción instantánea de texto en Fotos, Cámara y otras aplicaciones de iPhone.
• Visión por computador: encontrar objetos en imágenes como puntos de referencia, mascotas, plantas, libros y flores mediante la aplicación Fotos o la búsqueda de Spotlight; Obtener información adicional sobre objetos reconocidos utilizando Visual Look Up en lugares como Safari, Correo y Mensajes.
• Realidad aumentada: Oclusión de personas y seguimiento de movimiento en aplicaciones AR.
• análisis de vídeo: Detección de caras y objetos en video en aplicaciones como Final Cut Pro.
• Efectos de cámara: Recorte automático con Center Stage; Desenfoque de fondo durante las videollamadas de FaceTime.
• Juegos: Efectos fotorrealistas en videojuegos 3D.
• Texto en vivo: Brinda reconocimiento óptico de caracteres (OCR) en Cámara y Fotos, lo que le permite copiar fácilmente escritura a mano o texto como una contraseña de Wi-Fi o una dirección de las imágenes.
• fotografía computacional: Deep Fusion analiza píxeles para una mejor reducción de ruido, mayor rango dinámico y exposición automática y balance de blancos mejorados, aprovechando Smart HDR cuando sea apropiado; Fotografía con poca profundidad de campo, incluida la toma de retratos en modo nocturno; Ajuste del nivel de desenfoque del fondo con Control de profundidad.
• Cositas: ANE también se usa para Estilos fotográficos en la aplicación Cámara, Curación de recuerdos y efectos estilísticos en Fotos, recomendaciones personalizadas como sugerencias de fondos de pantalla, subtítulos de imágenes de VoiceOver, búsqueda de imágenes duplicadas en Fotos, etc

Algunas de las funciones mencionadas anteriormente, como el reconocimiento de imágenes, también funcionan sin la presencia de un ANE, pero funcionarán mucho más lento y agotarán la batería de su dispositivo.

Una breve historia del motor neuronal de Apple: del iPhone X a las Mac M2

En 2017, Apple implementó su primer ANE en forma de dos núcleos especializados dentro del chip A11 del iPhone X. Según los estándares actuales, fue relativamente lento, con solo 600 mil millones de operaciones por segundo.

El ANE de segunda generación apareció dentro del chip A12 en 2018, con cuatro veces más núcleos. Calificado en cinco billones de operaciones por segundo, este ANE era casi nueve veces más rápido y usaba una décima parte de la potencia de su predecesor.

El chip A13 de 2019 tenía el mismo ANE de ocho núcleos, pero funcionaba una quinta parte más rápido y usaba un 15 % menos de energía, un producto del nodo semiconductor de 7 nm mejorado de TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabrica chips diseñados por Apple.

La evolución del motor neuronal de Apple

Al año siguiente, Apple A14 casi duplicó el rendimiento de ANE a 11 billones de operaciones por segundo, lo que se logró al aumentar la cantidad de núcleos ANE de 8 a 16. En 2021, el A15 Bionic se benefició del proceso de 5 nm de segunda generación de TSMC, que impulsó aún más el rendimiento de ANE a 15,8 billones de operaciones por segundo sin agregar más núcleos.

Los primeros chips M1, M1 Pro y M1 Max vinculados a Mac tenían el mismo ANE que el A14, trayendo ML e IA avanzados y acelerados por hardware a la plataforma macOS por primera vez.

En 2022, el M1 Ultra combinó dos chips M1 Max en un solo paquete utilizando la interconexión personalizada de Apple denominada UltraFusion. Con el doble de núcleos ANE (32), el M1 Ultra duplicó el rendimiento ANE a 22 billones de operaciones por segundo.

El Apple A16 en 2022 se fabricó con el nodo N4 mejorado de TSMC, lo que brinda un rendimiento ANE un 8 % más rápido (17 billones de operaciones por segundo) en comparación con el ANE del A15.

Los primeros iPads habilitados para ANE fueron el iPad mini de quinta generación (2019), el iPad Air de tercera generación (2019) y el iPad de octava generación (2020). Todos los iPad lanzados desde entonces tienen un ANE.

¿Cómo pueden los desarrolladores usar ANE en las aplicaciones?

Muchas aplicaciones de terceros usan ANE para características que de otro modo no serían factibles. Por ejemplo, el editor de imágenes Pixelmator Pro proporciona herramientas como ML Super Resolution y ML Enhance. Y en djay Pro, ANE separa ritmos, instrumentales y pistas vocales de una grabación.

Sin embargo, los desarrolladores de terceros no obtienen acceso de bajo nivel a ANE. En cambio, todas las llamadas ANE deben pasar por el marco de software de Apple para el aprendizaje automático, Core ML. Con Core ML, los desarrolladores pueden crear, entrenar y ejecutar sus modelos ML directamente en el dispositivo. Dicho modelo se usa luego para hacer predicciones basadas en nuevos datos de entrada.

"Una vez que un modelo está en el dispositivo de un usuario, puede usar Core ML para volver a entrenarlo o ajustarlo en el dispositivo, con los datos de ese usuario", según la descripción general de Core ML en el sitio web de manzana.

Para acelerar los algoritmos de ML e IA, Core ML aprovecha no solo ANE sino también la CPU y la GPU. Esto permite que Core ML ejecute un modelo incluso si no hay ANE disponible. Pero con un ANE presente, Core ML funcionará mucho más rápido y la batería no se agotará tan rápido.

Muchas funciones de Apple no funcionarían sin ANE

Muchas funciones en el dispositivo no serían posibles sin el procesamiento rápido de los algoritmos de IA y ML y el consumo de energía y la huella de memoria minimizados que ANE trae a la mesa. La magia de Apple es tener un coprocesador dedicado para ejecutar redes neuronales de forma privada en el dispositivo en lugar de descargar esas tareas a servidores en la nube.

Con ANE, tanto Apple como los desarrolladores pueden implementar redes neuronales profundas y aprovechar los beneficios de la aceleración. aprendizaje automático para varios modelos predictivos como traducción automática, detección de objetos, clasificación de imágenes, etc.