O sea, este tipo de trabajo tambien puede servir para decifrar como funciona el cerebro orgánico como el del humano, (empezando por ratones), un paso hacia el rapido aprendizaje (copiar y pegar aprendizaje) y procesamiento colectivo de soluciones, (jeje lo ultimmo está un poco exagerado).,
"Ya me quiero ir a casa jordi" 🤣🤣🤣🤣🤣🤣🤣🤣 te pasaste, como alcanzaste a incluir eso en este video, una frase salida del corazón y de las neuronas de Javi intentando interpretar lo imposible.
Me he partido de risa con eso yo también, por cierto si te molo el debate, te recomiendo un video que se llama Metatrón vs Nemotrón, es otra fumada muy buena. Saludos.
Antes la IA era muy segura porque no habia como obligarla a hacer algo para lo que no fue entrenada, ahora ya podemos obligarla a hacer lo que el dinero o la politica o el poder digan.
Estoy empezando con el mundo de la programación y me fascina lo ingeniosa que es la gente para optimizar los procesos. Vídeo increíble, educativo y entretenido. Gracias
si te adentras en el mundo de los algoritmos, la matematica se hara necesaria y gracias a esa matematica, es que se pueden optimizar aun mas las cosas.
Que excelente video. Apenas voy por el 20:03 pero se me ocurre utilizar esta técnica de obsesión artificial para poder usar modelos dedicados a una tarea sin tener que hacer un fine-turing al modelo. ¿Quieres un modelo bueno en debug?, pues maximiza las activaciones encargadas de hacer debug.
Excelente Carlos. He tratado de explorar como funciona internamente los modelos, mi perfil nacido y crecido dentro del desarrollo instructivo me fuerza a tratar de entender de buscar el como,sin lugar el trabajo de antropic nos lleva a ello y tu video que lo bordas, que haces que sea entendible conceptos y tecnologías complejas ayudan mucho en esa labor , gracias !!
🎯 Key points for quick navigation: 00:19 *🧠 Understanding the complexity of interpreting internal AI processes* - Discussing the challenge of interpreting AI decision-making processes - Exploring the importance of interpretability in understanding AI models - Introducing the concept of interpretabilidad and its role in AI research 03:16 *🔍 Antropic's focus on ethical and responsible AI development* - Antropic's mission to develop foundational models that are ethical and safe - Highlighting Antropic's research efforts in interpretability and model control - Discussing the importance of understanding and controlling large AI models 07:16 *🔢 Training AI to decompose activations and identify concepts* - Utilizing a sparse autoencoder to separate complex patterns in AI activations - Demonstrating the process of identifying specific concepts through neuron activation patterns - Explaining how interpreting neural activations helps understand the AI's internal representation 11:21 *🔄 Controlling AI behavior based on identified activation patterns* - Modifying AI behavior by activating specific neuron patterns intentionally - Exploring how adjusting neural activations can change AI responses and outputs - Illustrating examples of altering AI behavior by manipulating neuron activations 18:36 *🤖 Importance of interpretability in understanding large language models* - Understanding how large language models function internally is crucial. - Incorporating these models into digital economies and technological stacks is reshaping industries. - Neural network behavior is more akin to cultivating a plant than programming. 19:29 *🧠 Steerability in AI models* - Efforts are focused on steerability to control the behavior of large models. - Improvements in controlling AI models have been significant in recent years. - Techniques like custom instructions and prompts allow for better control over AI behavior. 22:01 *🔄 Aggressive manipulability of AI models for better understanding and control* - The ability to directly manipulate the behavior of AI models is a more aggressive form of control. - This technique can help labs understand their models better, detect biases, and improve model safety. - Offering a more customizable experience to users by adjusting model characteristics. Made with HARPA AI
Esto será el primer paso para analizar cerebros humanos y si se usa correctamente, poder eliminar traumas o comportamiento no deseado en las personas, digamos que en segundos en lugar de ir a un tratamiento psicológico durante años.
Fascinate este vídeo. Esta técnica podría ser poderosísima, tanto para limitar ciertas respuestas como para dar respuestas super orientadas. Creo que sería muy acertado llamar a esta técnica "inception", ya que le metes una idea a la IA y ya no puede salir de ahí 😂
🎯 Key points for quick navigation: 00:00 *🧠 Introducción a la interpretación de IA* - Dificultad para entender el proceso de toma de decisiones de una IA, - Importancia de la interpretabilidad en las redes neuronales, - Ejemplo del puente de San Francisco como analogía. 02:12 *🏢 Historia de Anthropic y su enfoque ético* - Fundación de Anthropic por los hermanos Amodei en 2021, - Enfoque en el desarrollo de modelos éticos y seguros, - Colaboraciones y divergencias con OpenAI. 05:14 *🧩 Complejidad de las redes neuronales* - Comparación entre redes neuronales artificiales y cerebros humanos, - Desafíos en la interpretación de millones de neuronas y conexiones, - Concepto de neuronas polisemánticas y su utilidad en las redes neuronales. 07:22 *🔍 Descomposición de activaciones neuronales* - Uso de redes neuronales autoencoder para interpretar modelos, - Ejemplo de separación de conceptos en neuronas específicas, - Aplicación de estas técnicas en modelos más grandes como Claude 3. 11:31 *🔧 Control de patrones neuronales* - Identificación y manipulación de patrones de activación en IA, - Ejemplos de cambios en el comportamiento de Claude al activar ciertos patrones, - Experimentación con patrones relacionados con el puente de San Francisco y estafas. 18:36 *🚀 La frase de Neil Armstrong y la obsesión del modelo* - Descripción errónea de la frase de Neil Armstrong por el modelo Claude, - Ejemplos de cómo el modelo se obsesiona con un concepto específico. 19:29 *🧠 Importancia de la interpretabilidad* - Relevancia de entender cómo funcionan los modelos de lenguaje, - Comparación con el cultivo de una planta en términos de crecimiento y control, - Necesidad de controlar el crecimiento de estos modelos para evitar daños. 20:52 *🎛️ Control y manejabilidad en IA* - Mejoras en la capacidad de controlar modelos de IA en los últimos años, - Técnicas para modificar el comportamiento del modelo de manera más precisa, - Potenciales usos de estas técnicas, como detectar sesgos y personalizar experiencias de usuario. 22:59 *📚 Trabajo de interpretabilidad de Anthropic* - Importancia y fascinación del trabajo de interpretabilidad de Anthropic, - Documentación extensa y recursos adicionales proporcionados por Anthropic, - Relación y similitudes con trabajos recientes de OpenAI en interpretabilidad. Made with HARPA AI
Esto puede ser muy util en el tema de los Mixture of experts, potencias mucho un solo sector con las neuronas especificas de cada tarea que quieres, ahorrando muchos recursos de procesamiento y tiempo con el plus de que se sesga a cumplir la tarea que le pidas más acorde con sus neuronas.
Puede ser a una mal manera de ser entrenadas (unas neuronas del cerebro), como que alguien le explica algo mal desde pequeño y se lo aprende de memoria.
Aún hoy se asocia erróneamente el funcionamiento de las máquinas con el del cerebro humano. Ahora con las IAs sucede igual. Lo literal en asuntos de IA y ser humano tampoco creo que sea apropiado -aunque sigue siendo interesante
Esa es una hipótesis. Pero para empezar, ¿una convicción irracional es irracional por nuestra incapacidad de ver la función (razón) de esa convicción? - Este sería como una "anti-hipótesis" en la que se plantea que toda convicción "irracional" tiene una razón de ser (racional)
@@MissiFull Las convicciones siempre son culturales, así que no son verdaderas o falsas (racionales o irracionales), sino útiles o inútiles según el contexto.
@@yoyea2807 Tiene algo de razón lo que dices, pero también entra en juego la evolución. Ya que para existir una convicción debe haber mecanismos psicológicos que permitan la formación de esa convicción.
La carita de Javi en lo de Jordi ❤ 3:47 ... cuando trataron de refutar el E:mc2 con una pizarrita no tiene desperdicio, es un santo y les respondio sin faltar el respeto ni humillarlos
Hola Carlos, eso implica que este modelo que mapea (o evalua) nos podría dar indicaciones de que tan sesgada se encuentra la información con la que se entrenó el modelo que estoy evaluando. Al tener separadas todos los conocimientos que aprendió la red podría determinar si mi red por ejemplo está mas sesgada hacia el concepto de odio o amor, así como sucedió con el cencepto del puente de Golden Gate. Eso implica que mi dataset de entrenamiento además de estar equilibrado en el tamaño de las clases, también debería estar equilibrado en los conceptos (conocimientos que aprende)
El análisis de la IA para entender otra red neuronal me recuerda mucho a la escena de la película "Transcendence" en la que el Dr. Will Caster conecta varios sensores a su cerebro y procede a decir una serie de palabras/frases para transferir su consciencia a una máquina ❤
buenisimo el video :D muchas gracias Carlos! Que explicación más buena todo en general y en especial lo de explicar el autoencoder con la luz tema bonito jeje
esto es como escudriñar el funcionamiento del cerebro humano y explicar el surgimiento de la conciencia, ese ente separado del cuerpo pero que influye a la hora de ejecutar las ideas.... ummm superinteresante! Alma-cuerpo vs AI-hardware increíble vídeo... muchas gracias y a seguir
Carlos muy buen trabajo! Me leí el paper y luego OpenAi lo ha incluso expandido. Me pareció de lo más grande que se ha visto. Yo creo que no tanto para control, pero como forma de dar al modelo comprensión sobre su cognición. Nosotros los humanos tenemos control y entendimiento sobre nuestros razonamientos. Creo que el trabajo de sparse auto encoders puede ser el inicio de cambio de arquitectura de los modelos. Los transformers son en mi opinión demasiado granulares, necesitamos algo que permita un nivel de abstracción mayor que permita codificar conocimientos no memorizados pero desde un punto de vista de axiomas y lógica. Y claro dárselo al modelo para que pueda reflexionar sobre si mismo
Que interesante 🤔, se parece mucho a la obsesión 😵💫 o a la focalización 🧐del pensamiento.... muy análogo al comportamiento psicologico humano, aunque me da la impresión que en el caso humano hay una componente de retroalimentación 🔁, que en casos extremos, puede llevar a cosas como la ideacion suicida con la obsesión con pensamientos negativos ( autodestrucción ) ☠o la genealidad en el caso de la focalizacion con un tema 💡
@DotCSV Entonces hoy día, se puede decir que estos avances nos acercan a solucionar el problema del inverse-problem forward-problem? Es decir, un modelo entregando la síntesis de un fármaco pero nunca explicando porqué lo hizo así...
Hola genial el video video sobre la interpretabilidad de las IAs. También los memes del golden bridge creo que lo pensaron muy bien para general relevancia en redes sociales. Solo quería sugerir una pequeña aclaración sobre los sparse autoencoders. No son simplemente autoencoders con más canales. En realidad, buscan binarizar o discretizar la información usando la divergencia KL. Con la divergencia KL penalizas que una distribución no se parezca a otra, en este caso comparas la distribución que mide la activación promedio de las neuronas y penalizas que no se vea como una distribución uniforme donde toda neurona se activa en promedio solo el 5% de las veces ( o un poco menos o más) así con una función (no sé si diferenciable pero que la red puede optimizar) buscas que pocos canales se activen a la vez, y aunque tienes más neuronas, estas funcionan como unidades únicas y mucho más discretas creando esta especie de red que separa la información. Esto me parece muy interesante porque hace unos años estaba buscando como hacer algo parecido por mi cuenta pero quería canales totalmente binarios (intentando codificar lógica booleana) y no encontré muy buena información.
Podemos hacer eso en "casa"? digo potenciar las neuronas por ejemplo en el modelo LLaMa. Estaría genial obsesionar a la IA con un tema o justamente ajustarla a que corrija código o cosas como esas.
Me encanta este puente, me recuerda a mi infancia cuando fui a san francisco y las vistas eran preciosas, se podía ver a lo lejos una hermosa construcción naranja! like like like
@@Crasterius ¿Recuerdas cuando Google no permitía que su IA hiciera blancos, y hacía nazis negros? Imagina una IA que de esta manera detecte las cosas que al gobierno no le interesan, como en China.
Tremendoo! Es decir que uno podría grabar personalidades?? Es decir una vez identificado una base de neuronas que son lo suficientemente grande y complejo (tal vez no tan grande) que pueda describir a un ser humano .. podrías darles recuerdos, historias, fijaciones, miedos y más.. es como darle un "Backstory" la famosa "Cornerstone" en Westworld... me parece una locura! Que momento para estar vivoo!
Me imagino el uso de pequeños modelos muy comprimidos para personajes en juegos y entretenimiento... con algunos ajustes en sus "neuronas" se podrían crear nuevas personalidades...
Estos videos son oro puro. ¡Gracias Carlos!!! Si nos ponemos apocalípticos ¿La IA conseguirá tocar estas intensidades? ¿Y si aumenta el de la ira, o el de armas? Ahí lo dejo ;). Gracias por esta maravilla de contenido, la verdad me deja más tranquilo que podemos empezar a controlar esta caja negra.
Esto me recuerda al libro de Philip K. Dick "¿Sueñan los androides con ovejas eléctricas?" en el que se usa habitualmente el "órgano de emociones" (Penfield mood organ), que permite a los personajes ajustar sus estados de ánimo mediante la manipulación de un dial y un control de intensidad. El mundo de la IA va tan rápido, que ¿quién sabe lo cerca que estamos de eso?
hasta que no se combine con la química no va a suceder nada ni tan siquiera similar a lo que es una persona, ya que sin el componente hormonal que nos otorga la emocionalidad y el carácter, el cerebro quedaría simplemente en una maquina de cálculo
un descubrimiento muy intetesante. Siempre hay q pensar en los malintencionados. Abre una puerta peligrosa tb. Aunq supongo q aun quedara tiempo para poder controlar modelos tipo LLM en este sentido. Pero no estoy seguro.
Hola. @DotCSV , sería posible tratar de bajarle un poco el volumen a tus vídeos? Si bien el contenido me parece muy interesante y didáctico (está muy bien estructurado, y fácil de escuchar sin aburrirse), en algunos vídeos me cuesta mucho separar tu voz de la música, y entre el marcado acento, y el volumen de la música, se me hace bastante difícil (me incomoda al poco tiempo de empezar) seguir los vídeos hasta el final de una forma cómoda. Esto no trata ser una crítica negativa, ya que, además pienso que los temas musicales están muy bien elegidos, sino una sugerencia para mejorar incluso más el contenido de tu trabajo. Gracias y saludos
Al ver leído tengo una comprensión así que cuando al subir activar o disminuirlo, el suceso lo llamare ramificación de información en cadena, según como se ponga sera esa ramificación distinta es como si fuera muchos caminos diversos y se escoge al poner en posición sea subir o bajar cual emplear lo cual dará la salida, entonces como son cosas determinadas en esa cadena, si en ella se quisiera eliminar un sesgo lo cual se revisa esas ramificaciones distintas que se presentó el sesgo y para quitarlo sería desactivando esa información o si la información es compuesta ya es que tendría que crear una conexión lo llamare eslabón que es una conexión con otra neurona, pero en esa poniendo una marcación y un salto para que no siga esas otra y regrese a la que se está trabajando, además también se podría emplear si se quiere algo aunque ello no complicado un proceso de división de extraer las ramificaciones de cadena en las neuronas poner por separo revisar o para determinar distinto cosas así lograr optimizar el orden o también se podría ponerle otras neuronas apartes mayor cantidad de ellas y una función que de las existentes crear de estas nuevas ramificaciones ya estaríamos hablando que sea capaz de imaginar, lo cual el crear una conciencia y almacene lo que comprenda pero ya eso sería adelantarse, pero de que se puede simular la conciencia se puede y pase cosas sobre la conciencia porque sería en parte funcionando ya que necesitaría voluntad y saber.
Esto me recuerda cuando en la película Yo Robot, con Will Smith, los robots cambian de "buenos" a "malos" como si se le cambiara un parámetro, y cambian el comportamiento completamente 😶🌫️🤖
Mira. Una pregunta alternativa al cachondeo (que yo me haría) sería contemplar la idea (ciertamente improbable) de que, si realmente piensa y quisiese enviarnos un mensaje, justamente a través de cómo realmente es su proceso de pensamiento interno... ¿Podría ser que el Golden Gate fuese una respuesta en forma de metáfora?
Ahora que hagan los modelos de IA´s como los del juego Portal, el obsesionado con el espacio, el que tiene miedo, el que es inseguro, y asi, hasta crear a GLaDOS
Felictaciones y gracias Master por compartir tu conocimiento con tan excelente material. Podrías por favor contarme o darme pistas de que software usar para hacer las animaciones y explicar los conceptos grafica y con animacion....gracias
![Felix "Unfair" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/Oswujxm2Ag0/mqdefault.jpg)
¡No dejéis de suscribiros y compartir el vídeo para ayudar al canal a llegar al 1.000.000 DE SUBS! 🔥
... me gusta la entrada del micro!!... 😜
¿Para cuando vídeo de la IA de Apple , que es lo más impresionante y relevante que ha ocurrido en los últimos años?
O sea, este tipo de trabajo tambien puede servir para decifrar como funciona el cerebro orgánico como el del humano, (empezando por ratones), un paso hacia el rapido aprendizaje (copiar y pegar aprendizaje) y procesamiento colectivo de soluciones, (jeje lo ultimmo está un poco exagerado).,
Hola, cómo puedo contactar contigo? Si pudieses por favor ayudarme en un proyecto. Gracias ante todo
😂😂😂😂😂😂😂😂
"Ya me quiero ir a casa jordi" 🤣🤣🤣🤣🤣🤣🤣🤣 te pasaste, como alcanzaste a incluir eso en este video, una frase salida del corazón y de las neuronas de Javi intentando interpretar lo imposible.
Me he partido de risa con eso yo también, por cierto si te molo el debate, te recomiendo un video que se llama Metatrón vs Nemotrón, es otra fumada muy buena. Saludos.
😂😂😂
En que min?
3:58 😂
😂😂😂
2020: las IAs nos van a destruir
2024: la IAs: soy un puente
"Ahora 💪 hay que controlar a Open AI y Antrophic y a los demás les dará vergüenza quedarse solos...* 😂 😅😅
😂😂😂
*soy un puente margue
ya no tendrán a nadie a nadie @@edigvn
me hace acordar al de SOY UN AUTO
Antes la IA era muy segura porque no habia como obligarla a hacer algo para lo que no fue entrenada, ahora ya podemos obligarla a hacer lo que el dinero o la politica o el poder digan.
Excelente video @DotSCV. Tus difusiones son más sólidas que los cables del puente de San Francisco! Muchas gracias.
Me duelen los videos cada 1 mes, pero me encanta la calidad de cada video. AAAAAAAAAAAAA. une œuvre d'art
Hay que elegir, calidad o cantidad? 😅
@@DotCSV Calidad 👌
@@DotCSVen un futuro gracias a la IA podremos elegir ambos😮
@@XaviIntheHouse hasta entonces prefiero calidad, estos videos están en otro nivel😎
@@DotCSV na na na a laburar doc.
Acaban de descubrir la gallina de los huevos de oro. Encontraron la manera de meter publicidad de forma natural dentro de un LLM
Que asco :(
Oh por Dios, no des ideas 😂😂
"...ya podemos decir que entre las dos empresas han tendido puentes..." XDDDDDDDD
De Oro!!
No me j*** 😂
Estoy empezando con el mundo de la programación y me fascina lo ingeniosa que es la gente para optimizar los procesos. Vídeo increíble, educativo y entretenido. Gracias
si te adentras en el mundo de los algoritmos, la matematica se hara necesaria y gracias a esa matematica, es que se pueden optimizar aun mas las cosas.
jaja lo de Javi está muy bien traído...
Me encantó tu Golden Gate, perdón, tu video.
¡Gracias!
Thanks!
Que excelente video. Apenas voy por el 20:03 pero se me ocurre utilizar esta técnica de obsesión artificial para poder usar modelos dedicados a una tarea sin tener que hacer un fine-turing al modelo. ¿Quieres un modelo bueno en debug?, pues maximiza las activaciones encargadas de hacer debug.
Tal cual
Excelente Carlos. He tratado de explorar como funciona internamente los modelos, mi perfil nacido y crecido dentro del desarrollo instructivo me fuerza a tratar de entender de buscar el como,sin lugar el trabajo de antropic nos lleva a ello y tu video que lo bordas, que haces que sea entendible conceptos y tecnologías complejas ayudan mucho en esa labor , gracias !!
🎯 Key points for quick navigation:
00:19 *🧠 Understanding the complexity of interpreting internal AI processes*
- Discussing the challenge of interpreting AI decision-making processes
- Exploring the importance of interpretability in understanding AI models
- Introducing the concept of interpretabilidad and its role in AI research
03:16 *🔍 Antropic's focus on ethical and responsible AI development*
- Antropic's mission to develop foundational models that are ethical and safe
- Highlighting Antropic's research efforts in interpretability and model control
- Discussing the importance of understanding and controlling large AI models
07:16 *🔢 Training AI to decompose activations and identify concepts*
- Utilizing a sparse autoencoder to separate complex patterns in AI activations
- Demonstrating the process of identifying specific concepts through neuron activation patterns
- Explaining how interpreting neural activations helps understand the AI's internal representation
11:21 *🔄 Controlling AI behavior based on identified activation patterns*
- Modifying AI behavior by activating specific neuron patterns intentionally
- Exploring how adjusting neural activations can change AI responses and outputs
- Illustrating examples of altering AI behavior by manipulating neuron activations
18:36 *🤖 Importance of interpretability in understanding large language models*
- Understanding how large language models function internally is crucial.
- Incorporating these models into digital economies and technological stacks is reshaping industries.
- Neural network behavior is more akin to cultivating a plant than programming.
19:29 *🧠 Steerability in AI models*
- Efforts are focused on steerability to control the behavior of large models.
- Improvements in controlling AI models have been significant in recent years.
- Techniques like custom instructions and prompts allow for better control over AI behavior.
22:01 *🔄 Aggressive manipulability of AI models for better understanding and control*
- The ability to directly manipulate the behavior of AI models is a more aggressive form of control.
- This technique can help labs understand their models better, detect biases, and improve model safety.
- Offering a more customizable experience to users by adjusting model characteristics.
Made with HARPA AI
3:50 hermosa referencia 😂
Efectivamente, algo en su cabeza se está disparando, pero no son sus neuronas en si, si no algo mas
Esto será el primer paso para analizar cerebros humanos y si se usa correctamente, poder eliminar traumas o comportamiento no deseado en las personas, digamos que en segundos en lugar de ir a un tratamiento psicológico durante años.
Na, jamás pasará eso jaja
Literal, lavado de mente lol
Sale mk ultra 2
Wow lo que la cia le gustaria oir .
Totalmente. Aunque los que tienen el ego inflado creen que el cerebro humano es inigualable y "mágico", pero la IA cada vez nos va a quitar esa idea.
Inteligencia Artificial aliñada con un poco de humor!!! Gracias @DotCSV
La obsesion de la iA con el G.G, me recuerda a como funciona el "hiperfoco" en los Autistas al obsesionarse con un único tema
entonces ne estas diciendo que a las IAs le gustan muchos los autos?
@@XaviIntheHouse ¿JV? ¿Eres tú? Mándale un saludo al TvNauta.
no creo que tenga nada que ver
@@Crasterius Que o quien es "TvNauta"?
@@Mr.Maravilla el protagonista de "perfectos desconocidos".
Ayer esperaba el vídeo jajajajaja.
Hubo muchos cambios en IA estas semanas.
Tremendo vídeo señor. Gracias por la buena información y la clase magistral en divulgación científica.
este tipo es genial!, gracias por tu trabajo, saludos desde REPUBLICA DOMINICANA
interesante, saludos desde Bogotá
Fascinate este vídeo. Esta técnica podría ser poderosísima, tanto para limitar ciertas respuestas como para dar respuestas super orientadas. Creo que sería muy acertado llamar a esta técnica "inception", ya que le metes una idea a la IA y ya no puede salir de ahí 😂
Excelente Carlos, otra gran obra maestra de explicabilidad sobre explicabilidad 👏🏻😆
Cómo me encantan tus videos, me hacen a no parar de aprender, porque haces que me motive a seguir.
🎯 Key points for quick navigation:
00:00 *🧠 Introducción a la interpretación de IA*
- Dificultad para entender el proceso de toma de decisiones de una IA,
- Importancia de la interpretabilidad en las redes neuronales,
- Ejemplo del puente de San Francisco como analogía.
02:12 *🏢 Historia de Anthropic y su enfoque ético*
- Fundación de Anthropic por los hermanos Amodei en 2021,
- Enfoque en el desarrollo de modelos éticos y seguros,
- Colaboraciones y divergencias con OpenAI.
05:14 *🧩 Complejidad de las redes neuronales*
- Comparación entre redes neuronales artificiales y cerebros humanos,
- Desafíos en la interpretación de millones de neuronas y conexiones,
- Concepto de neuronas polisemánticas y su utilidad en las redes neuronales.
07:22 *🔍 Descomposición de activaciones neuronales*
- Uso de redes neuronales autoencoder para interpretar modelos,
- Ejemplo de separación de conceptos en neuronas específicas,
- Aplicación de estas técnicas en modelos más grandes como Claude 3.
11:31 *🔧 Control de patrones neuronales*
- Identificación y manipulación de patrones de activación en IA,
- Ejemplos de cambios en el comportamiento de Claude al activar ciertos patrones,
- Experimentación con patrones relacionados con el puente de San Francisco y estafas.
18:36 *🚀 La frase de Neil Armstrong y la obsesión del modelo*
- Descripción errónea de la frase de Neil Armstrong por el modelo Claude,
- Ejemplos de cómo el modelo se obsesiona con un concepto específico.
19:29 *🧠 Importancia de la interpretabilidad*
- Relevancia de entender cómo funcionan los modelos de lenguaje,
- Comparación con el cultivo de una planta en términos de crecimiento y control,
- Necesidad de controlar el crecimiento de estos modelos para evitar daños.
20:52 *🎛️ Control y manejabilidad en IA*
- Mejoras en la capacidad de controlar modelos de IA en los últimos años,
- Técnicas para modificar el comportamiento del modelo de manera más precisa,
- Potenciales usos de estas técnicas, como detectar sesgos y personalizar experiencias de usuario.
22:59 *📚 Trabajo de interpretabilidad de Anthropic*
- Importancia y fascinación del trabajo de interpretabilidad de Anthropic,
- Documentación extensa y recursos adicionales proporcionados por Anthropic,
- Relación y similitudes con trabajos recientes de OpenAI en interpretabilidad.
Made with HARPA AI
@DotCSV excelente como siempre. Sin duda la mejor explicación en castellano, sobre esta prometedora investigación de Anthropic AI 💯 🙌 👏👏👏👏
Que ilusion que hayas hecho un vídeo de esto! Yo estoy haciendo mi tesis de este tema y es súper interesante 😊
Que suerte, es un producto final o una tesis de investigación?
Tremendo video Carlos. Gracias por educarnos con contenido de alta calidad!
Esto puede ser muy util en el tema de los Mixture of experts, potencias mucho un solo sector con las neuronas especificas de cada tarea que quieres, ahorrando muchos recursos de procesamiento y tiempo con el plus de que se sesga a cumplir la tarea que le pidas más acorde con sus neuronas.
Que buen video! Muchas gracias por compartirlo.
Qué Interesante, Bravo por tus vídeos, siempre tan bien explicados y montados.
Y asi tambien podemos alinear a los modelos con los valores que permitan a la humanidad estar en control y prosperar. 💪
Cuánto amo este canal ! ♥️ sigue con ese gran trabajo señor felicidades tenga un croissant 🥐
Como siempre muy educativo y didáctico el contenido gracias
Me hace pensar en cómo piensan los humanos, ¿y si las convicciones irracionales se deben a un puñado pequeño de neuronas dañadas?
Puede ser a una mal manera de ser entrenadas (unas neuronas del cerebro), como que alguien le explica algo mal desde pequeño y se lo aprende de memoria.
Aún hoy se asocia erróneamente el funcionamiento de las máquinas con el del cerebro humano. Ahora con las IAs sucede igual. Lo literal en asuntos de IA y ser humano tampoco creo que sea apropiado -aunque sigue siendo interesante
Esa es una hipótesis.
Pero para empezar, ¿una convicción irracional es irracional por nuestra incapacidad de ver la función (razón) de esa convicción?
- Este sería como una "anti-hipótesis" en la que se plantea que toda convicción "irracional" tiene una razón de ser (racional)
@@MissiFull Las convicciones siempre son culturales, así que no son verdaderas o falsas (racionales o irracionales), sino útiles o inútiles según el contexto.
@@yoyea2807 Tiene algo de razón lo que dices, pero también entra en juego la evolución. Ya que para existir una convicción debe haber mecanismos psicológicos que permitan la formación de esa convicción.
Enhorabuena Carlos! Haces un muy buen trabajo de divulgación. Sigue con ello❤
Que buena edición 🎉
La carita de Javi en lo de Jordi ❤ 3:47 ... cuando trataron de refutar el E:mc2 con una pizarrita no tiene desperdicio, es un santo y les respondio sin faltar el respeto ni humillarlos
Hola Carlos, eso implica que este modelo que mapea (o evalua) nos podría dar indicaciones de que tan sesgada se encuentra la información con la que se entrenó el modelo que estoy evaluando. Al tener separadas todos los conocimientos que aprendió la red podría determinar si mi red por ejemplo está mas sesgada hacia el concepto de odio o amor, así como sucedió con el cencepto del puente de Golden Gate. Eso implica que mi dataset de entrenamiento además de estar equilibrado en el tamaño de las clases, también debería estar equilibrado en los conceptos (conocimientos que aprende)
El análisis de la IA para entender otra red neuronal me recuerda mucho a la escena de la película "Transcendence" en la que el Dr. Will Caster conecta varios sensores a su cerebro y procede a decir una serie de palabras/frases para transferir su consciencia a una máquina ❤
el siguiente paso es ese, fusión máquina-cerebro. un salto evolutivo imparable
@@alfonsolopez1605a elon musk le gusta tu comentario
buenisimo el video :D muchas gracias Carlos! Que explicación más buena todo en general y en especial lo de explicar el autoencoder con la luz tema bonito jeje
Muy buen video Carlos. Gracias por compartir.
Genial y directo como siempre Carlos! un abrazo!
Pedazo de vídeo! Bueno, igual que siempre. Pero hoy lo he disfrutado al extremo, por alguna razón.
esto es como escudriñar el funcionamiento del cerebro humano y explicar el surgimiento de la conciencia, ese ente separado del cuerpo pero que influye a la hora de ejecutar las ideas....
ummm superinteresante!
Alma-cuerpo vs AI-hardware
increíble vídeo... muchas gracias y a seguir
Justamente en eso pensé también, no sabemos todavía como surge la consciencia y ya andan buscando lo mismo en sistemas tecnológicos
lo de sentirse el puente Golden Gate se podría extrapolar a una neurosis, jeje
o un simple trauma! ;-)
Tu canal es buenísimo, definitivamente me suscribo!
Muy buenazo! Me quedo una duda de a qué se refiere con activar más, se incrementa a mano el valor de los pesos o como así? Gracias!
Carlos muy buen trabajo! Me leí el paper y luego OpenAi lo ha incluso expandido. Me pareció de lo más grande que se ha visto. Yo creo que no tanto para control, pero como forma de dar al modelo comprensión sobre su cognición. Nosotros los humanos tenemos control y entendimiento sobre nuestros razonamientos. Creo que el trabajo de sparse auto encoders puede ser el inicio de cambio de arquitectura de los modelos. Los transformers son en mi opinión demasiado granulares, necesitamos algo que permita un nivel de abstracción mayor que permita codificar conocimientos no memorizados pero desde un punto de vista de axiomas y lógica. Y claro dárselo al modelo para que pueda reflexionar sobre si mismo
Buen vídeo Carlos! Más como este :)
20:25 Carlos tienes el prompt de ese video? Me lo puedes pasar? Saludos
Que genio! Estuvo muy bueno el vídeo
Excelente contenido! Ciertamente es un puente fascinante.
Que interesante 🤔, se parece mucho a la obsesión 😵💫 o a la focalización 🧐del pensamiento.... muy análogo al comportamiento psicologico humano, aunque me da la impresión que en el caso humano hay una componente de retroalimentación 🔁, que en casos extremos, puede llevar a cosas como la ideacion suicida con la obsesión con pensamientos negativos ( autodestrucción ) ☠o la genealidad en el caso de la focalizacion con un tema 💡
@DotCSV Entonces hoy día, se puede decir que estos avances nos acercan a solucionar el problema del inverse-problem forward-problem? Es decir, un modelo entregando la síntesis de un fármaco pero nunca explicando porqué lo hizo así...
Interesantísimo... Y muy divertido! Jajaja, muchas risas con el puente
Que bueno verlo, pense que RUclips no me estaba recomendando su canal! 😊😊😊
Carlos, como siempre, tendiendo puentes entre nosotros y los avances en IA.
Ese micro entrando en escena...👌
Como haces los videos explicativos? Son geniales
Nos puedes enseñar a hscerlos?
Se echaba de menos estos videos.😊 gran trabajo
Hola genial el video video sobre la interpretabilidad de las IAs. También los memes del golden bridge creo que lo pensaron muy bien para general relevancia en redes sociales. Solo quería sugerir una pequeña aclaración sobre los sparse autoencoders. No son simplemente autoencoders con más canales. En realidad, buscan binarizar o discretizar la información usando la divergencia KL. Con la divergencia KL penalizas que una distribución no se parezca a otra, en este caso comparas la distribución que mide la activación promedio de las neuronas y penalizas que no se vea como una distribución uniforme donde toda neurona se activa en promedio solo el 5% de las veces ( o un poco menos o más) así con una función (no sé si diferenciable pero que la red puede optimizar) buscas que pocos canales se activen a la vez, y aunque tienes más neuronas, estas funcionan como unidades únicas y mucho más discretas creando esta especie de red que separa la información. Esto me parece muy interesante porque hace unos años estaba buscando como hacer algo parecido por mi cuenta pero quería canales totalmente binarios (intentando codificar lógica booleana) y no encontré muy buena información.
Podemos hacer eso en "casa"? digo potenciar las neuronas por ejemplo en el modelo LLaMa. Estaría genial obsesionar a la IA con un tema o justamente ajustarla a que corrija código o cosas como esas.
Me encanta este puente, me recuerda a mi infancia cuando fui a san francisco y las vistas eran preciosas, se podía ver a lo lejos una hermosa construcción naranja! like like like
Interesante, podría ser un metodo de decodificar algunas funciones desarrolladas por los modelos y así generar más conocimiento.
Excelente video, cada vez la IA avanza más y tus videos me ayudan mucho a entender como avanza todo este mundo
excelente info, gracias como siempre
Gracias Dot eres el mejor. Este paper no lo entendía del todo ahora ya si 😊
Solo espero que ese control lo tengamos nosotros, y no el gobierno.
El gobierno sigue como en la edad media. Tu tranquilo.
@@Crasterius ¿Recuerdas cuando Google no permitía que su IA hiciera blancos, y hacía nazis negros? Imagina una IA que de esta manera detecte las cosas que al gobierno no le interesan, como en China.
Es el peor error , pensar que no lo tiene... @@Crasterius
Suscrito. Mucha información valiosa en tu canal
Tremendoo! Es decir que uno podría grabar personalidades?? Es decir una vez identificado una base de neuronas que son lo suficientemente grande y complejo (tal vez no tan grande) que pueda describir a un ser humano .. podrías darles recuerdos, historias, fijaciones, miedos y más.. es como darle un "Backstory" la famosa "Cornerstone" en Westworld... me parece una locura! Que momento para estar vivoo!
Uff tremendo video, muchas gracias por tu esfuerzo para explicar estos temas !!!
Este canal debería de tener millones de seguidores de lo mejor de RUclips
Sube un poco el volumen del vídeo, muchos se escuchan bajo :(
Saludos y gracias por el video
Me imagino el uso de pequeños modelos muy comprimidos para personajes en juegos y entretenimiento... con algunos ajustes en sus "neuronas" se podrían crear nuevas personalidades...
@DotCSV justo en eso trabajamos en el ISP (Universidad de Valencia). Pásate un día por aquí y te comentamos
Buen vídeo, muchas gracias
Por un momento he creido que te ibas a despedir diciendo: Hasta luego piratillas!!! 🤣🤣🤣
Estos videos son oro puro. ¡Gracias Carlos!!! Si nos ponemos apocalípticos ¿La IA conseguirá tocar estas intensidades? ¿Y si aumenta el de la ira, o el de armas? Ahí lo dejo ;). Gracias por esta maravilla de contenido, la verdad me deja más tranquilo que podemos empezar a controlar esta caja negra.
Espectacular trabajo el de Anthropic, y también el tuyo por divulgarlo de esta manera. ¡Gracias!
El clip del 22:12, ¿de dónde es?
Gracias puente de San Francisco por subir éste maravilloso video! ❤
Muy buen video, me da esperanzas... gracias!
Esto me recuerda al libro de Philip K. Dick "¿Sueñan los androides con ovejas eléctricas?" en el que se usa habitualmente el "órgano de emociones" (Penfield mood organ), que permite a los personajes ajustar sus estados de ánimo mediante la manipulación de un dial y un control de intensidad. El mundo de la IA va tan rápido, que ¿quién sabe lo cerca que estamos de eso?
hasta que no se combine con la química no va a suceder nada ni tan siquiera similar a lo que es una persona, ya que sin el componente hormonal que nos otorga la emocionalidad y el carácter, el cerebro quedaría simplemente en una maquina de cálculo
Qué máquina!!!! GRACIAS
un descubrimiento muy intetesante. Siempre hay q pensar en los malintencionados. Abre una puerta peligrosa tb. Aunq supongo q aun quedara tiempo para poder controlar modelos tipo LLM en este sentido. Pero no estoy seguro.
Hola.
@DotCSV , sería posible tratar de bajarle un poco el volumen a tus vídeos? Si bien el contenido me parece muy interesante y didáctico (está muy bien estructurado, y fácil de escuchar sin aburrirse), en algunos vídeos me cuesta mucho separar tu voz de la música, y entre el marcado acento, y el volumen de la música, se me hace bastante difícil (me incomoda al poco tiempo de empezar) seguir los vídeos hasta el final de una forma cómoda.
Esto no trata ser una crítica negativa, ya que, además pienso que los temas musicales están muy bien elegidos, sino una sugerencia para mejorar incluso más el contenido de tu trabajo.
Gracias y saludos
Al ver leído tengo una comprensión así que cuando al subir activar o disminuirlo, el suceso lo llamare ramificación de información en cadena, según como se ponga sera esa ramificación distinta es como si fuera muchos caminos diversos y se escoge al poner en posición sea subir o bajar cual emplear lo cual dará la salida, entonces como son cosas determinadas en esa cadena, si en ella se quisiera eliminar un sesgo lo cual se revisa esas ramificaciones distintas que se presentó el sesgo y para quitarlo sería desactivando esa información o si la información es compuesta ya es que tendría que crear una conexión lo llamare eslabón que es una conexión con otra neurona, pero en esa poniendo una marcación y un salto para que no siga esas otra y regrese a la que se está trabajando, además también se podría emplear si se quiere algo aunque ello no complicado un proceso de división de extraer las ramificaciones de cadena en las neuronas poner por separo revisar o para determinar distinto cosas así lograr optimizar el orden o también se podría ponerle otras neuronas apartes mayor cantidad de ellas y una función que de las existentes crear de estas nuevas ramificaciones ya estaríamos hablando que sea capaz de imaginar, lo cual el crear una conciencia y almacene lo que comprenda pero ya eso sería adelantarse, pero de que se puede simular la conciencia se puede y pase cosas sobre la conciencia porque sería en parte funcionando ya que necesitaría voluntad y saber.
24:02 El mejor resumen de qué esperar de DotCSV
Mientras tanto Open AI:
_Esta información vale millones_
Esto me recuerda cuando en la película Yo Robot, con Will Smith, los robots cambian de "buenos" a "malos" como si se le cambiara un parámetro, y cambian el comportamiento completamente 😶🌫️🤖
Mira. Una pregunta alternativa al cachondeo (que yo me haría) sería contemplar la idea (ciertamente improbable) de que, si realmente piensa y quisiese enviarnos un mensaje, justamente a través de cómo realmente es su proceso de pensamiento interno... ¿Podría ser que el Golden Gate fuese una respuesta en forma de metáfora?
Increíble el vídeo. Genial.
aupa minuto 9: 09 , Eso és,..SÍ, LO HE ENTENDIDO, Gracias por tus enseñanzas , ciberneticas
Ya extrañaba videos así! :D
Ahora que hagan los modelos de IA´s como los del juego Portal, el obsesionado con el espacio, el que tiene miedo, el que es inseguro, y asi, hasta crear a GLaDOS
Felictaciones y gracias Master por compartir tu conocimiento con tan excelente material. Podrías por favor contarme o darme pistas de que software usar para hacer las animaciones y explicar los conceptos grafica y con animacion....gracias
Excelentemente explicado!