¿Qué es Shap-E de OpenAI y qué puede hacer?

Las empresas de investigación y despliegue de inteligencia artificial (IA), como OpenAI, lanzan continuamente funciones para el beneficio de la humanidad. Además de ChatGPT, DALL-E, Point-E y otras herramientas exitosas, OpenAI ha lanzado Shap-E, un nuevo modelo innovador.

Entonces, ¿qué es Shap-E de OpenAI y qué puede hacer por usted?

¿Qué es Shap-E de OpenAI?

En mayo de 2023, Alex Nichol y Heewon Jun, investigadores y colaboradores de OpenAI, publicaron un papel anunciando Shap-E, la última innovación de la compañía. Shap-E es una nueva herramienta entrenada en un conjunto de datos masivo de imágenes 3D emparejadas y texto que puede generar modelos 3D a partir de texto o imágenes. Esto es similar a DALL-E, que puede crear imágenes 2D a partir de texto, pero Shap-E produce activos 3D.

Shap-E está entrenado en un modelo de difusión condicional y mapeo de activos 3D. El mapeo de activos 3D significa que Shap-E aprende a asociar texto o imágenes con los modelos 3D correspondientes de un gran conjunto de datos de objetos 3D existentes. Un modelo de difusión condicional es un modelo generativo que parte de una versión ruidosa de la salida de destino y la refina gradualmente eliminando el ruido y agregando detalles.

Al combinar estos dos componentes, Shap-E puede generar modelos 3D realistas y diversos que coinciden con la entrada de texto o imagen dada y se pueden ver desde diferentes ángulos y condiciones de iluminación.

Cómo puede usar Shap-E de OpenAI

Shap-E no se ha hecho público como otras herramientas de OpenAI, pero el peso del modelo, el código de inferencia y las muestras están disponibles para descargar en el Forma-E GitHub página.

Puedes descargar el código Shap-E gratis y instálalo usando el comando pip de Python en tu ordenador. También necesita una GPU NVIDIA y una CPU de alto rendimiento, ya que Shap-E consume muchos recursos.

Después de la instalación, abra las imágenes 3D que genera en Microsoft Paint 3D. Así mismo, puedes convertir las imágenes en archivos STL si quieres imprimirlos usando impresoras 3D.

También puede informar problemas y encontrar soluciones a problemas ya planteados por otros en la página Shap-E GitHub.

Lo que puede hacer con Shap-E de OpenAI

Shap-E le permite describir ideas complejas utilizando una representación visual de ideas. Las aplicaciones potenciales de esta tecnología son ilimitadas, especialmente porque las imágenes suelen tener efectos de mayor alcance que los textos.

Como arquitecto, puede usar Shap-E para crear modelos 3D de edificios y estructuras basados ​​en descripciones escritas. Puede especificar las dimensiones, materiales, colores y estilos de las estructuras usando oraciones simples. Por ejemplo, puede solicitarlo con: "Hacer un rascacielos con 60 pisos y balaustradas de vidrio" y exportar los resultados a otro software para editarlos más si le gustan los resultados que obtiene.

Los jugadores y artistas de animación pueden mejorar los entornos virtuales y las experiencias visuales creando objetos y personajes 3D detallados. En ingeniería, puede describir componentes, especificaciones y funciones de maquinaria y equipo y obtener los resultados en modelos 3D antes de crear prototipos físicos.

Además, incluso en campos como la educación, Shap-E puede ayudar a los educadores a comunicar ideas complejas y abstractas a sus alumnos en materias como biología, geometría y física.

Aunque todavía es un trabajo en progreso, Shap-E está un paso por delante de OpenAI PUNTO-E, que produce nubes de puntos 3D basadas en indicaciones de texto. Las nubes de puntos están limitadas en su expresividad y resolución, produciendo a menudo formas borrosas o incompletas.

Genere modelos 3D usando Shap-E de OpenAI

Shap-E es una demostración impresionante del poder de la IA para crear contenido 3D a partir de imágenes o lenguaje natural. Con él, puede crear objetos 3D para juegos de computadora, experiencias interactivas de realidad virtual, prototipos y otros fines. Aunque no hay garantías con respecto a la calidad de salida, el modelo AI le brinda una forma rápida y eficiente de crear un modelo 3D de cualquier cosa.

Además, este modelo de IA es una contribución importante en el espacio del aprendizaje profundo y probablemente conducirá a futuras innovaciones y creaciones avanzadas.