¡Me he CAPTURADO EN 3D con NeRF ...en SEGUNDOS!
HTML-код
- Опубликовано: 27 янв 2022
- Usando Inteligencia Artificial ahora podemos llevar el mundo real al digital en segundos. La tecnología NeRF se hizo popular en 2020, demostrando que una red neuronal podía crear una renderización volumétrica realista en 3D de un conjunto de imágenes. El problema, tardaba mucho: horas e incluso días. Pero el trabajo que vamos a estar probando hoy, consigue esto mismo pero en segundos. ¿Qué tan bien funciona y cómo se compara con las técnicas clásicas de fotogrametría? ¡Vamos a verlo!
-----------------------------------------------------------------------------------
⭐ INFO SOBRE EL MASTER ONLINE 2022⭐
► Más información del Master: iia.es/ ◄
💸 Utiliza el código DOTCSV300 para ahorrar 300€
-- ¡LINKS INTERESANTES! --
► Página del proyecto
nvlabs.github.io/instant-ngp/
► Código del proyecto (Instrucciones de uso)
github.com/NVlabs/instant-ngp
📣 NotCSV - ¡Canal Secundario!
/ notcsv
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colaboradores 
Наука
⭐ INFO SOBRE EL MASTER ONLINE 2022⭐
► Página web del instituto: iia.es/ ◄
💸 Utiliza el código DOTCSV300 para ahorrar 300€
El máster es súper recomendable. Yo estoy ahora en la tercera edición y no puedo dejar de recomendarlo. Llega a mucha profundidad y las ponencias son increíblemente motivadoras.
Hola! sabes si hay algún tipo de becas para este master? Muchas gracias!
Me encantaría inscribirme, pero en Latinoamérica 3000 euros equivale a comer un año :(
@@dalvengr Si, en Argentina solamente el descuento es un sueldo básico.
Excelente video, gracias!!! pero sinceramente creo que nos dejas colgados a la mayoría al no mostrarnos cómo podríamos experimentar con NERF. Te invito a la reflexión. Un abrazo!
Seria bueno un tutorial desde cero para generar la captura 3D
ruclips.net/video/kq9xlvz73Rg/видео.html
Hombre tus contenidos están bien chevere...de vez en cuando muestra puro mindblowing...Gracias por tu trabajo🙂👍🏾
8:48 "diría que la reconstrucción no es mala". Para nada, sólo necesitas un pequeño incendio y serán idénticas.
Enhorabuena por el canal, haces un contenido buenísimo!
Muy buen contenido!!, podrías hacer un tutorial paso a paso de como hacer esta renderización de alta velocidad?
Alucinante, impresionante Carlos! Me encanta ver tus videos, analisis y explicaciones, y así aprender un poco mas de una rama de la informatica en la que no me puedo involucrar de lleno por cuestiones de tiempo, muchas gracias y me quedo atento para ver más y más! Por favor, la segunda parte! Por cierto, el directo con Andrés va a quedar grabado? Muchas gracias nuevamente y exitos!
Cara você é bom demais. Teu trabalho é grande! Boas pesquisas e estudos aí 🚀👏
Podrías hacer un tutorial para llevar esto a la práctica?
Yo tambien tengo problemas para hacerlo funcionar, ojala alguien nos ayude
Porfavor! estuve varias horas intentando hacerlo funcionar pero no pude -.-
yo tambien lo intente correr pero simplemtente no abre :c
Llegaron a encontrar algún tutorial?
@@JoGarciaMov nada -.-
Enhorabuena Carlos. Gracias por hacer este video. Pregunta ¿Qué tarjeta gráfica te utilizas?
Que espectacular los avances que se están logrando con NeRF! gracias Dot por compartir!
No había tenido oportunidad de ver tus vídeos sobre NERF pero ahorita que veo este video ya me animé a ir a los otros vídeos que tienes, muchas gracias por compartir
Excelente video y contenido, como todos tus vídeos amigo. Enhorabuena por tus aportes.
Yo creo que lo interesante no es comparar nerf y fotogrametria, lo interesante llegará cuando se combinen, porque si usaramos nerf para generar los imputs para crear la fotogrametria podriamos generar entornos virtuales de gran calidad pero que además estan compuestos de mallas, lo que significa que se podría interactuar con ellos, por ejemplo, en la escena del libro, se podría generar una malla para las gafas, una para el libro, una para la vela, etcetera, teninedo una escena de realida virtual en la que se podría tomar cada uno de los elementos y moverlos por separado, todo recreado desde un video grabado con el celular, eso va a ser alucinante
creo que nerf tiene una opcion para proyectar una malla sobre los voxels y de ahi sacas un modelo
@@sklx3D y dónde puedo probar Nerf? 🤷
🙄, si pero para mi las texturas son un asco y deberían desaparecer lo la responsable #1 del uncaney valley, m mmm en lo que piensas en realidad es en la Hit Box no polígonos si hit Box, mmm aunque en realidad si tienes un boxel debes proyectarlo en un espacio 3d por ende ya estás usando mayas, al menos que no sea un voxel sino una especie de punto de información de color en el espacio que por si sólo no tiene forma, esto me parece más eficiente que usar una maya
A mi si me parece interesante la comparación.
Ojalá y algún día inventen un sistema para recuperar recuerdos y convertirlos en imágenes o videos.
Estoy seguro que cómo avanza la tecnología se podrá hacer, pero falta mucho todavía.
ruclips.net/video/TV0ZUv4CMJ8/видео.html
Es exactamente igual que la neurodanza de Cyberpunk. Permite almacenar recuerdos filmados y analizarlos. Navegando en el mismo.
@@kevinadrielgalati5883 Así es, algo cómo eso, imagina una computadora conectada al cerebro registrando los impulsos elécrtricos de los recuerdos y la IA descifrandolos para luego crear las imágenes que se van refinando según los detalles que recuerdas.
Que bueno sería volver a ver un recuerdo de tu niñez o de tus padres en su juventud.
@@DanGmz Muy pronto va a ser posible. Estoy seguro.
@@kevinadrielgalati5883 Claro que si!! ;)
Es espectacular haber visto cómo esta tecnología ha avanzado tanto en tan poco tiempo, en 5 años ya se podrán hacer locuras.
Deseando ver esa segunda parte!!
Mil gracias! Podrias hacer un paso a paso desde cero para poder usar Neft! Desde la instalacion de phyton y todo para gente que no somos programadores pero si creativos del 3D...
Genial como ha evolucionado esta tecnología!!! Nos va a servir mucho a arquitectos y diseñadores 3d para hacer levantamientos y demás tareas de estás profesiones.
❶③❽⑥❼④❷③❹①❺
me muerooool! Pensar que el año pasado me pidieron que diese un curso de fotogrametría para mediados de este año...
Un vídeo genial solo una pregunta a lo mejor ya te lo han preguntado pero ese archivo renderizado se puede exportar para impresión 3D??
¿Y servirá en exteriores, para hacer un levantamiento topográfico a partir del vídeo de un drone? 🤔
Eventualmente sí 👍🏼
Que interesante aportación. Ojalá alguien lo desarrolle en algún vídeo futuro
Se supone que si. La gran cuestión es si a partir del modelo puedes obtener superficies, distancias, diferencias de cotas, volúmenes, etc... que es lo realmente de interés para usos topográficos..
Actualmente ya se emplean otras tecnologías con el mismo funcionamiento. Por ejemplo, alzamientos topográficos desde aviones con Lidiar. Lo vi en práctica en una clase de la universidad y era bastante preciso siempre que no hubiesen superficies reflectantes (algunos coches, agua, etc)
@@jsan3264 alguien sabe si esto es posible?
Estoy deseando ver como evoluciona esta tecnología y que el año que viene igual podamos hacer un modelo en HD de nuestra habitación completa o de nuestra casa y poder verla con VR
Era re tríste jahajsk
ya se puede :p
LOL, para que quisieras ver tu PROPIA casa en VR si ya estas en tu casa con un par de globos oculares en funcionamiento.
@@Jorge-sy4bp exacto XD, pero también se podría usar para realidad aumentada con un proposito más cercano a no usar tantas cámaras para lograrlo
@@Jorge-sy4bp dopamina y flotar.
¡Magnífico tema Carlos! He revisado las ligas que nos compartes, y la verdad es que me ayudaría un montón un "tutorial" sobre como hacerlo funcionar, sé que eventualmente lo lograría, pero ahorrar un poco de tiempo siempre viene bien. ¡Gracias por tus videos!
Eso estaba buscando también,entiendo que necesitas una tarjeta gráfica específica. Tal ves algún collab pero seguiré buscando como hacerla funcionar
@@luchoescobar Encontré este video que explica como instalarlo, no he tenido tiempo para ponerlo en acción, pero igual te sirve, ya me platicarás... ruclips.net/video/kq9xlvz73Rg/видео.html
Se podria hacer una recintruccion de una escena a partir de multiples camaras de seguridad que graban desde distintos puntos de vista???
Muito legal essa tecnologia. Adorei. Muito bom.
Increíble. Hay forma de exportar estos modelos a algún fornato tipo stl? Con el fin de recrearlos con una impresora 3d
Que ganas de ver el video!!!
Es brutal el resultado. Lo que me pregunto es si el output que genera una vez entrenado se puede "abrir" con un visor que no le cueste tanto.
Es decir, alguien con un PC lo entrena y cuando ya está listo se guarda en un formato que se puede abrir con un equipo convencional.
Y otra duda, ¿podemos aplicar NERF a un video de una casa entera?
El problema es que los volumenes en general cuesta renderizarlos, no es problema del visor necesariamente.
Es como si se hiciera una simulación hiperrealista de una explosión en houdini. Si, la simulación en sí va a tomar muchísimo tiempo pero incluso ya teniendola finalizada el solo hecho de moverse por la escena podría llegar a costarle mucho a la computadora, más aún si la explosión no estuviera quieta en un frame.
Acá sería algo muy parecido, o incluso peor.
Muy buen video!
Cual es el requerimiento minimo de gpu para andar esa magia?
Un saludo y gracias por tu ayuda y tiempo.
Estoy probando utilizar instant-ngp, pero al final la gráfica no me deja trabajar con el software.
Te agradecería, me recomendaras que targeta grafica usar o el equipo que utilizas tú para probar este software.
Saludos esta potente que equipo y softwere nesecito para usar esa herramienta esta de locura....
Carlos, me apasiona la ia, quiero trabajar de ello y no sé cómo comenzar ¿Qué me recomiendas?
halo muy buen video!! en que tipo de archivo o extencion se puede guardar o exportar el proyecto?gracias
estos modelos se pueden llevar a blender y a unity? y como seria el proceso?
Increible!!!!!! Estaría bien que nos enseñaras a instalar y jugar nosotros. Un saludo.
Grandísimo el vídeo. Me acabo de suscribir al canal y lo he metido en mis favoritos. Pregunta, ¿Como puedo conseguir el programa?
Hola . Los sensores Lidiar y Tof hacen un trabajo muy bueno . ? Habrá alguna aplicación que lo haga desde un vídeo a 3d ?
Muy buen vídeo, pero Meshroom deja mucho que desear cuando lo comparas con otros programas de fotogrametría como reality capture, así que la comparativa es un poco injusta si intentas comparar las técnicas y no los software. Dicho esto, el vídeo sigue siendo muy informativo y entretenido :)
Hola.. una pregunta.... Se puede tomar un modelo de estos y rebanarlo con cortes paralelos como si de un pan tajado se tratase?
Excelente video!! Felicitaciones!
Yo siento que se está infravalorando el poder de las inteligencias artificiales para la creación de películas stop motion y en videojuegos.
Igual haciendo unas pequeñas modificaciones podríamos hacer una versión de nerft que después de renderizar mandé el objeto a una IA que identifique el objeto y le aplique las físicas correspondientes para meterlo en un videojuego.
tiene pinta de que los datos se pueden cargar en blender y de ahi animas lo que te de la gana. Igual estoy equivocado.
La verdad retopologizar eso es un infierno, ademas, de que mucha maya va a estar pegada a las cosas (como el short pegado a la piel humana, y el short pegado a la silla) y asi con cualquier cosa, un cuadro a la pared, etc. etc.
@@latamlegal5575 No vas a poder meterlo en ningún programa de mallas, pues no tiene una malla. Es lo chungo. Es una recreación. Es solo una imagen 3d, y por eso yo diría que es imposible meterle físicas. Por ahor
@@MultiHeiiBust_nt hombre, yo creo que los datos de la recreación pueden formar una malla extrapolados. Que aún no se pueda es otra cosa.
La mayoria de casas desarrolladoras ya usan fotogrametria. La cosa es que necesitas crear una malla limpia por motivos de rendimiento para los motores y eso se hace manualmente, por lo que veo sigue aun teniendo los problemas de la fotogrametria, que es que necesitas tener un ambiente controlado para tener buenos resultados. La evolucion aca seria que puedas usar todo esto con equipo barato y no con equipos especiales. Ya hay varios modelos que pueden combinar animaciones que quitan mucho trabajo manual que tendrian que hacer animaciones manualmente.
Hola. Con este método, se pueden generar mallas 3d para el Unreal por ejemplo?
XFavorrrrrr!!!! un video mostrando como usar esto en google colab, o poder obter una salida tipo stl u obj.. seria genial!!!
Saludos amigos, donde se consigue este software para poder probar..
Gracias!
Pregunta. Lo que "obtienes" puede ser exportada de alguna manera a 3d studio, por ejemplo?
Por el momento tengo sabido que esas tecnologías de hyperrealismo con voxels(miniparticulas que conformen la superficie de los objetos para darle hyperrealismo) no está abierta al público todavía. Solo hay videos de como ya lograron hacer de esta tecnología
¿Que opinas de la Holografia, podrias hablar de esto en los proximos canales?
Dios mio, me vuela la cabeza! Esto con Fotografía Hyperlapse es tremendo.
Estoy flipandolo fuertemente, ansias de probar esto en detalle y con unas VR jajaja
Con esa tecnología se puede hacer stl sin problemas para las impresoras 3d?
Una pregunta debo tener un pc con alguna especificacion o lo puedo ejecutar Colab?
estoy intentando usar nerf en mi ordenador pero no encuentro tutoriales que expliquen de forma clara como implementarlo
me podrías recomendar alguno ?
Puntualizar una cosa, con la fotogrametría obtienes puntos 3D en el espacio, de los puntos 2D que se pueden identificar en 2 o más imágenes iniciales (en fotogrametría digital manual pueden ser unos pocos miles de puntos y en la automatizada que se usa actualmente nubes de muchos miles de puntos). El proceso de obtener, exportar, una malla 3d es un proceso posterior que no forma parte en si de la fotogrametría. La IA claramente mejora mucho en el proceso de identificar esos puntos 2D, sobre los que aplica, supongo, fotogrametría con la que obtiene una nube de puntos más densa y precisa, además de acompañar en todo el proceso con información de la textura y no extrayéndola de una sola fuente (imagen) a posteriori como en la fotogrametría clásica. Gracias por el video, invertigaré en que formatos se podría exportar desde esta IA. (Esto dejando de lado la fotogrametría aérea que tiene muchos matices distintos)
Después dichos resultados se pueden exportar en algún formato?.
Estaría bien un paso a paso para poderlo probar, arroja muchos errores al seguir las instrucciones del readme
Excelente video! Saludos desde Uruguay
Your content is the best. No enlgish speaking channel are treating what you do as well as you do. Thankfully I speak some Spanish ahah. Btw which GPU do you have? I can see it's pretty fast on your computer but on mine I can't get high enough resolution because my Nvidia GTX 1080 caps up. I can get access to a RTX 3070, you think it'll be enough?
El futuro es prometedor y excitante con estos avances en la tecnología!
se puede exportar de algun modo por ejm a blender?
Podes entrenar una durante un tiempo para que se vea con mucha resolución?
Estaría muy bien un video tutorial paso a paso y de su exportación a Unity 3D
que maravilloso tema!
estoy seguro que alla por 2010, flickr hizo algo parecido. usando sus fotos como bases de datos. era de microsoft, creo que se llamaba dragon o algo asi...
Acabo de encontrar tu canal y me has volado la cabeza
Como me digas que puedo pasar el archivo a .STL me vuelvo LOCO. Gracias por tan impresionante video!! Muy buen trabajo!!!
Guapisimo, quiero probarlo 😄
Cada vez que veo un video de Dot CSV me asombra y me austa el futuro que se nos aproxima o el que ya está aquí.
Me imagino a google o apple integrando esta tecnologia y que, juntando las camaras de los celulares de todo el mundo podrian armas un plano 3D de todas las ciudades.
Me viene a la mente la reconstrucción de fotografías desde ángulos imposibles en Blade Runner
Será posible entrenar con videos 360, por ejemplo con un insta360 x3, es decir para representar calles ??
Impresionante. ¿Hay alguna manera de que los viwers podamos utilizar esta tecnología? Y si es así ¿Podrías hacer un tutorial explicando como utilizarla?
Se puede usar en google collab o de forma local (si tu GPU es suficiente)
Qué guapo el vídeo! Esperando la segunda parte me hallo
ok no es fotogrametría pero puedo pasarlo a un objeto que pueda importar a blender y editarlo como malla?
Mágico.Grácias por el video.
Me interesa muchísimo, justo ahora voy a hacer un video de producto y estaría muy bien tener el modelo 3D para infografias
Y cómo puedo usar esa técnica? Que necesito para hacer escaneos? Me serviría mucho.
Muy interesante. Es parecido a lo que quiere conseguir Metahero, podrías hacernos un video de Metahero también.
Y como se aparta un objeto del entorno, si quisiera solo el libro?
Buenismaaaaaaaaaaa! ¿Existe alguna manera de presentar el resultado en un visor web?
¿Serviría para el maquinado CNC de piezas ?
Me gustaría hacer algunas pruebas, donde puedo conseguir una versión de ese programa?
Esto aplicado al relevamiento de bosques y estructuras con drones tiene que cambiar el juego. La fotogrametría se queda muy corta cuando se intenta reconstruir la estructura de un bosque, tanto volando por sobre los árboles como caminando por debajo. ¡Gracias por el vídeo!
Muy bueno el video, me encantaría poder hacer el master, lamentablemente para Argentinos son valores muy altos. Se pude usar una Jetson Nano de 4gb para utilizar la aplicación?
IMPRESIONANTE!!!!
Duda que se me viene a la mente. Si mientras capturas el video tienes el flash activado es capaz de luego a la hora de moverte por la escena recrear como incide esa luz?
Excelente aporte!!!. Suscritos.
Entiendo que los casos de usos con respecto a la fotogrametría son distintos, no? La segunda permite obtener esos modelos 3d que permitan modificar materiales, iluminación.. por ejemplo en un motor de videojuegos.
Como exportas a 3D mesh obj o fbx con texturas?
Sería interesante que a futuro se adapte igualmente para su aplicación en impresoras 3d
Disculpa mi ignorancia.. que es Nerf? es un software? se puede conseguir?
"Ya no voy a estar tan OP" - Dot CSV. Como no simpatizar con este sujeto 😄
Simplemente increíble
Esto podria tener un potencial impresionante para la ingenieria civil y arquitectura.
y como se saca de eso una captura o imagen en movimiento?
Cuales son las especificaciones del ordenador con el que entrenas??😬😬😬
Hola, podrias por favor, decir como poder instalarlo, ya que durante el proceso con CMAKE hay algunos problemas. Gracias
Mediante que programas se genera el fichero transform.json?
Compartir tus videos no es el reto, es encontrar gente en mis medios que le gusten estos temas y se lleve una gran experiencia encontrando esta joya💥💯🔥
Lo siento, no puedo creerlo!!
Podría alguno contarnos qué hardware entrena estas cosas? Son "data cities", "data centers" o algo más chico?
Qué orden de magnitud de procesamiento y qué orden de magnitud de cantidad de data?
Sabrías decir cuál es la mínima información (lo que llamas "inputs") que necesita el sistema para poder generar un entorno 3D?
O sea, si en lugar de vídeo, le meter 6, 10, 20 ó 50 fotos, por ejemplo
Hola conoces matterport? Básicamente escanea espacios para crear tours virtuales fluidos y generar vistas en 3D. Podrías decir si ese sistema tiene algo que ver con Nerf? Escanean con mucha calidad. Gracias!
Tienen que ser imagenes quietas? Me refiero a que si uno va por la ciudad caminando y filmando con la camara y pasan caminando personas, eso generaria algun ruido?
Estarìa muy bueno combinarlo con una càmara calibrada y SLAM
Modelizar la incertidumbre. Muy buena frase