Estoy volviendo a ver este video después de dos años porque quería refrescar un poco el tema de Transformers debido a ChatGPT y veo con asombro que vos siempre estás muy bien informado. Hablando de OpenAI y concretamente de GPT3 hace 2 años!! Este canal y el conocimiento que impartes es de gran valor.
Muy buen video. Solo un detalle y es que según el artículo el deco toma el query y no el value de la capa anterior. Pero sin duda uno de los mejores videos
@@codificandobits No No No... jejeje GRACIAS a Ti, por ENSEÑARNOS, lo que NO se APRENDE en "NINGÚN SITIO"... Nosotros Somos, como unas "Animas en Pena", que vamos BUSCANDO la LUZ. Y esa LUZ... eres Tú. Que la Virgen te Proteja. Muchísimas Gracias.
Muy buen video. Estaría genial que nos de la posibilidad de enseñarnos con código, para que los novatos tengamos una base para nuestros proyectos. Como hiciste con el código para la predicción de la bolsa. Seguí asi hermano. Personas como vos ayudan a crecer. Te mando un abrazo
Hola, gracias por tu comentario y por las sugerencias. Las voy a tener en cuenta. Espero pronto publicar más videos tipo tutorial, y viene en camino también un curso online. Un saludo!
Muchas gracias por el video! Fue genial y bastante lúcido! Una cosita no más, en el bloque atencional yo aprendí q la salida del codificador va como Key y Value, y el dato proveniente del bloque anterior del decodificador va como Query, cómo será? Perdone si me estoy equivocando
Hola y gracias por tu comentario. En realidad la salida del bloque atencional es un poco más compleja: es el resultado de tomar la salida "softmax" de queries y keys, y combinarla luego con values. Esto lo encuentras más en detalle aproximadamente en el minuto 7:43 del video. Un saludo!
Muchas gracias por el video, me fue de mucha utilidad. Una pregunta, este tipo de redes solo funcionan para natural language processing? O también podrían utilizarse para trabajar con series de tiempo? Predicciones de la bolsa, por ejemplo. O para series de tiempo mejor seguir utilizando LSTM?
Hola Mauricio, qué buena pregunta. En principio fueron creadas para el Natural Language Processing, pero en teoría pueden funcionar para cualquier tipo de secuencia: series de tiempo, secuencias de video, generación de música, etc. Un saludo!
Muchas gracias por la explicación. Una duda que me surge es cuando explicas el bloque atencional. Cuando dices "Los tokens se llevan silmultáneamente a tres pequeñas redes neuronales ENTRENADAS para calcular los vectores queries, keys y valyes". Mi pregunta es, ¿esas redes dónde se entrenan o de dónde sale ese vector? Muchas gracias por tu respuesta.
No acabo de entender el funcionamiento de la red neuronal (la de color verde) tanto en el módulo del codificador como del decodificador. ¿Cuál es su función exactamente?. Muchas gracias y enhorabuena por el excelente vídeo.
Elías me has dado una gran idea!, tomo nota para hacer un video sobre el tema. Aunque no he visto esta aplicación, en principio creo que sí serviría, pues el mercado accionario es también un tipo de secuencia, y estas redes transformer están diseñadas precisamente para analizar datos con esas características. Un saludo!
Buena recomendación. De hecho eso me ocurrió cuando leí el paper, tuve que hacerlo varias veces hasta entender el detalle de cada bloque de la red transformer. Un saludo!
@@codificandobits Quedo supremamente pendiente a cualquier contenido nuevo, seria muy vacano mirar arquitecturas mas avanzadas de transformers como ELECTRA, T5, Pegasus, etc; o de pronto hablar un poco de modelos generativos (GAN, VAE, etc), sos un crack
Hola, para este video aún no hay código fuente. Sin embargo en los próximos videos veremos diferentes ejemplos de implementación en Python, y allí dejaré el código fuente. Un saludo!
Hola Ramón. ¿A qué te refieres con algoritmos? Más que algoritmos la red transformer es una arquitectura donde se combinan diferentes bloques de procesamiento (como embedding de entrada, codificación posicional, bloques atencionales, etc.) para que el modelo aprenda a "entender" el contenido de las secuencias que está procesando.
@@codificandobits buenas tarde y gracias por responder mi pregunta. Lo que pasa que tengo alguna tarea de inteligencia artificial y quisiera saber si ofrece asesoría personalizada. De ser cierto me deja un contacto.
Hola amigos, estoy haciendo un bot con redes neuronales que pueda aprender de texto, estoy usando transformers pero tengo ciertas complicaciones, no se si alguien qusiiera ayudarme ? saludos
Hola. No sé si ya viste los demás videos de la serie, con ejemplos de implementación (traducción inglés-español, análisis de sentimientos y BERT). Un saludo!
🔥🔥Academia Online: codificandobits.com 🔥🔥
🔥🔥Asesorías y formación personalizada: codificandobits.com/servicios 🔥🔥
chale cjjajjajajaj llegué 4 años tarde xDD, ya me suscribi, ahora si más atenta a tu canal
Estoy volviendo a ver este video después de dos años porque quería refrescar un poco el tema de Transformers debido a ChatGPT y veo con asombro que vos siempre estás muy bien informado. Hablando de OpenAI y concretamente de GPT3 hace 2 años!! Este canal y el conocimiento que impartes es de gran valor.
Estamos en la misma 😅
Excelente información , deberías hacer una actualización ahora en 2024
🤔 Necesito más bloques atencionales para seguirte el paso. Muy buen trabajo 👍🏻
😂😂😂
Ojalá que tu canal crezca mucho, eres buenísimo. Muchas gracias por hacer accesible el conocimiento. Grande
Excelente explicación y gran claridad conceptual en la exposición
Muy buen video. Solo un detalle y es que según el artículo el deco toma el query y no el value de la capa anterior. Pero sin duda uno de los mejores videos
Esto ya es otro nivel, gracias por el vídeo.
😉😉 gracias por tu comentario. Un saludo!
genial me gusta mucho tu contenido; eres cono dot csv de america latina
esperaba mucho este video :), gracias por tomarte tu tiempo enserio
Qué bueno que te haya gustado. Realmente estas redes transformer tienen un potencial gigantesco. Ya vienen más videos sobre el tema. Un saludo!
Es increible que no conociera este canal, sos un crack
Gracias por tu comentario Juan Manuel. Esto me anima a seguir publicando contenido de buena calidad. Un saludo!
Impecable video, mil gracias. La explicación con gráficos es de mucha utilidad!
Excelente contenido Miguel sigo todos los videos son super claros y precisos muchas gracias
Gracias por tu comentario Carlos, qué bueno que te guste el material del canal. Saludos!
Excelente explicación, el modelo de red de chatGPT. Está bueno entender el funcionamiento si bien Keras te simplifica todo.
Quedamos atentos a la aplicación en código. gracias por el video
Claro que sí Cristian. Viene una primera aplicación (código + tutorial) en el próximo video. Un saludo!
Gracias por Compartir. FANTÁSTICAS Tús Explicaciones.
Gracias José por ser un fiel seguidor del canal. Un saludo!
@@codificandobits No No No... jejeje
GRACIAS a Ti, por ENSEÑARNOS, lo que NO se APRENDE en "NINGÚN SITIO"...
Nosotros Somos, como unas "Animas en Pena", que vamos BUSCANDO la LUZ.
Y esa LUZ... eres Tú. Que la Virgen te Proteja. Muchísimas Gracias.
Hola Miguel, es un video genial! Muchas gracias por tomar el tiempo para elaborarlo y compartir el conocimiento
Hola Daniel, qué bueno que te haya gustado. Vienen más sobre el tema en camino!
Majestuosa explicación en español!! Felicidades!! Ansioso por el próximo video!!
Gracias por tu comentario Freddy. Un saludo!
Hola profesor, muchas gracias por compartir su conocimiento!!!!
😉
Gran video espero los demas sobre como implementarlas gracias desde Venezuela
Hola Abraham. Sí, vienen más videos de implementación. Un saludo!
Muy bueno. podrias hacer un ejemplito utilizando google collab ? muchas gracias
Gracias excelente explicación. Que bueno eres.
Gracias a ti por el comentario. Un saludo!
Gracias por compartir tu conocimiento Miguel, Crack como siempre 👍
Gracias a ti Alexander por seguir el canal. Saludos!
@@codificandobits Miguel viene alguno acerca de como entrenar con detectron2 detección de objetos????
@@datexland Viene, no será el próximo, pero en 2-3 videos viene!
@@codificandobits genial...
que genial tu canal, por favor sigue así!
Hola Felipe, gracias por tu comentario... Un saludo!
Muy buen video. Estaría bueno ver un paso a paso.
Hola Walter. Sí, en los próximos videos veremos cómo programar este tipo de redes. Un saludo!
Excelente trabajo Miguel, es impresionante esta revolución.¡ Tenes que dar curso en Udemy !
¿Udemy? ¿Será? 🤔🤔 Un saludo Pablo!
Genial! Te mereces muchas más visitas!
Poco a poco van llegando Gerardo. Un saludo!
Muy buen video. Estaría genial que nos de la posibilidad de enseñarnos con código, para que los novatos tengamos una base para nuestros proyectos. Como hiciste con el código para la predicción de la bolsa. Seguí asi hermano. Personas como vos ayudan a crecer. Te mando un abrazo
Hola, gracias por tu comentario y por las sugerencias. Las voy a tener en cuenta.
Espero pronto publicar más videos tipo tutorial, y viene en camino también un curso online. Un saludo!
Muchas gracias por el video!
Fue genial y bastante lúcido!
Una cosita no más, en el bloque atencional yo aprendí q la salida del codificador va como Key y Value, y el dato proveniente del bloque anterior del decodificador va como Query, cómo será?
Perdone si me estoy equivocando
Hola y gracias por tu comentario. En realidad la salida del bloque atencional es un poco más compleja: es el resultado de tomar la salida "softmax" de queries y keys, y combinarla luego con values. Esto lo encuentras más en detalle aproximadamente en el minuto 7:43 del video. Un saludo!
Muchas gracias por el video, me fue de mucha utilidad.
Una pregunta, este tipo de redes solo funcionan para natural language processing? O también podrían utilizarse para trabajar con series de tiempo? Predicciones de la bolsa, por ejemplo.
O para series de tiempo mejor seguir utilizando LSTM?
Hola Mauricio, qué buena pregunta. En principio fueron creadas para el Natural Language Processing, pero en teoría pueden funcionar para cualquier tipo de secuencia: series de tiempo, secuencias de video, generación de música, etc.
Un saludo!
Gracias!
Muchas gracias por la explicación. Una duda que me surge es cuando explicas el bloque atencional. Cuando dices "Los tokens se llevan silmultáneamente a tres pequeñas redes neuronales ENTRENADAS para calcular los vectores queries, keys y valyes". Mi pregunta es, ¿esas redes dónde se entrenan o de dónde sale ese vector? Muchas gracias por tu respuesta.
Esa seria mi queja del video
No acabo de entender el funcionamiento de la red neuronal (la de color verde) tanto en el módulo del codificador como del decodificador. ¿Cuál es su función exactamente?. Muchas gracias y enhorabuena por el excelente vídeo.
Muy buenos videos. Saludos desde Ecuador. Con que programa editas los videos?
Gracias por tu comentario Sebastián!
Para la edición uso ScreenFlow (en Mac). Un saludo!
Muy interesante el concepto de las redes transformer. ¿Ya hay plantillas para implementarlas en Keras?
Hola Deivid. Sí, hay librerías en Tensorflow, Keras y Pytorch. Ya vienen video tutoriales sobre ese tema. Un saludo!
A que se refiere cuando dice que se suma el embeding con los vectores posicionales? 🤔🤔
Buenas tardes, este tipo de redes serviría para pronósticos en el mercado accionario?
Elías me has dado una gran idea!, tomo nota para hacer un video sobre el tema.
Aunque no he visto esta aplicación, en principio creo que sí serviría, pues el mercado accionario es también un tipo de secuencia, y estas redes transformer están diseñadas precisamente para analizar datos con esas características.
Un saludo!
Recomendacion, vean el video hasta que entiendan cada proceso, sera muy util a futuro
Buena recomendación. De hecho eso me ocurrió cuando leí el paper, tuve que hacerlo varias veces hasta entender el detalle de cada bloque de la red transformer. Un saludo!
Miguel explicas de una manera brutal, cuando vas seguir la serie?
Hola Juan Manuel. Los demás videos de la serie ya fueron publicados en 2020. Pero en 2021 vienen más! Un saludo!
@@codificandobits Quedo supremamente pendiente a cualquier contenido nuevo, seria muy vacano mirar arquitecturas mas avanzadas de transformers como ELECTRA, T5, Pegasus, etc; o de pronto hablar un poco de modelos generativos (GAN, VAE, etc), sos un crack
uff man que buena expliccón y animacion !
Qué bueno que te haya gustado. Un saludo!
BRUTALLLLLLLLLLLLLLLLLLLLLL
T JDST POR DECI TEMA
Estas quemadisimo mano, muy buen video
No entendi una goma... Pero la pucha, que interesante es todo esto
Me interesa entender los mecánismos de atención de estas redes neuronales planeo crear yo mi mecanismo de atención
Estaría genial que pusieras enlaces para descargar el código fuente
Hola, para este video aún no hay código fuente. Sin embargo en los próximos videos veremos diferentes ejemplos de implementación en Python, y allí dejaré el código fuente. Un saludo!
Hola, cuales son los algoritmos que intervienen en los transformers.?
Hola Ramón. ¿A qué te refieres con algoritmos? Más que algoritmos la red transformer es una arquitectura donde se combinan diferentes bloques de procesamiento (como embedding de entrada, codificación posicional, bloques atencionales, etc.) para que el modelo aprenda a "entender" el contenido de las secuencias que está procesando.
@@codificandobits buenas tarde y gracias por responder mi pregunta.
Lo que pasa que tengo alguna tarea de inteligencia artificial y quisiera saber si ofrece asesoría personalizada.
De ser cierto me deja un contacto.
@@Henrry0 Claro que sí, me puedes enviar un mensaje directamente a www.codificandobits.com/consultoria/ comentándome todos los detalles.
Un saludo!
Ah.... Mi cabeza va a explotar!!!
Atención, atención, atención... 😉
Lo de traducir código todavía no lo hace tan bien, igual sera cuestión de tiempo.
Hola amigos, estoy haciendo un bot con redes neuronales que pueda aprender de texto, estoy usando transformers pero tengo ciertas complicaciones, no se si alguien qusiiera ayudarme ? saludos
Hola, ¿y qué tipo de transformer estás usando en particular? ¿Alguna librería en especial? Más adelante vendrá un video sobre ese tema. Un saludo!
@@codificandobits compañero podria enviarme un msje a mi correo para explicarle mejor ? bajo0123@gmail.com saludos
Gran video espero los demas sobre como implementarlas gracias desde Venezuela
Hola. No sé si ya viste los demás videos de la serie, con ejemplos de implementación (traducción inglés-español, análisis de sentimientos y BERT). Un saludo!
@@codificandobits aun no pero lo hare