Nerf Unity for Oculus Quest 2 es un proyecto basado en el código de kwea123/nerf_Unity, que utiliza una técnica de renderizado neural para crear imágenes fotorrealistas en Unity. Esta versión incluye soporte para el casco de realidad virtual Oculus Quest 2 y agrega nuevas herramientas para importar datos de volumen en secuencias png. El proyecto incluye diferentes escenas para mostrar las diferentes formas de utilizar esta técnica de renderizado, como renderizar modelos 3D y volúmenes. El proyecto requiere Unity 2022.2.1f1 y assets adicionales descargados e importados en Unity para su uso. Además, incluye dos shaders personalizados: uno antiguo (VolumeShad2) y uno nuevo (VolumeColorRenderingShader) para el renderizado de volúmenes.
¿Te imaginas poder crear objetos 3D realistas a partir de fotos 2D? Eso es lo que hace la IA de Nerf, una técnica de renderizado neural que utiliza redes neuronales para representar y renderizar escenas 3D basadas en una colección de imágenes 2D. La IA de Nerf puede rellenar los huecos y corregir los errores humanos al capturar las fotos.
En este artículo te voy a contar cómo surgió la idea de este proyecto, qué es Nerf y cómo se diferencia de la fotogrametría, y qué puedes hacer con este proyecto si te interesa probarlo.