Debido a la confunsión generado entre MoE y MoA, os dejo por aquí una comapración detallada de sus diferencias, ya que NO son lo mismo: 🤖 *Arquitectura y Diseño* * *MoE (Mixture of Experts):* * 🧠 *Estructura Interna:* Parte integral de un único modelo grande. * 🧩 *Componentes:* Múltiples "expertos" (subredes neuronales) + mecanismo de enrutamiento. * 🔀 *Funcionamiento:* El enrutamiento decide qué experto(s) procesar cada parte de la entrada. * ⚡ *Paralelismo:* Los expertos procesan diferentes partes a la vez. * *MoA (Mixture of Agents):* * 🌐 *Estructura:* Sistema distribuido con múltiples modelos independientes. * 🤖🤖 *Componentes:* "Proposers" (generan respuestas) + "Aggregators" (sintetizan respuestas). * 🔄 *Funcionamiento:* Proceso en capas, cada capa refina las salidas de la anterior. * 🧠🧠 *Paralelismo:* Los proposers generan respuestas en paralelo. 🛠 *Implementación y Escalabilidad* * *MoE:* * ⚙ *Implementación:* Integrada en el modelo durante el entrenamiento. * 🚀 *Escalabilidad:* Aumenta el tamaño del modelo sin incrementar mucho los costos. * 🔋 *Eficiencia:* Activa solo los expertos relevantes. * *MoA:* * 🔌 **mplementación:* Combina modelos pre-entrenados. * ➕ *Escalabilidad:* Fácil añadir más modelos. * 🎯 *Eficiencia:* Usa modelos más pequeños y especializados. 🧠 *Procesamiento de Información* * *MoE:* * ➡ *Flujo de datos:* A través de expertos seleccionados dentro del mismo modelo. * 🧠 *Toma de decisiones:* Centralizada (mecanismo de enrutamiento). * 💭 *Contexto:* Unificado. * *MoA:* * 🔁 *Flujo de datos:* A través de múltiples modelos independientes. * 🧠🧠 *Toma de decisiones:* Distribuida (proposers y aggregators). * 💭💭 *Contexto:* Cada modelo aporta su propio contexto. 🏋♀ *Entrenamiento y Adaptabilidad* * *MoE:* * 🏋♀ *Entrenamiento:* Como un único modelo. * 🎯 *Adaptabilidad:* Se especializa en subdominios durante el entrenamiento. * 🔄 *Fine-tuning:* Ajusta todo el modelo. * *MoA:* * 🏋♀ *Entrenamiento:* Modelos individuales por separado. * 🤸♀ *Adaptabilidad:* Muy flexible, combina modelos con diferentes especializaciones. * 🔄 *Fine-tuning:* Ajusta solo los aggregators o añade proposers. 👍👎 *Ventajas y Desafíos* * *MoE:* * 👍 *Ventajas:* Eficiencia, maneja tareas diversas. * 👎 *Desafíos:* Complejidad del enrutamiento, subutilización de expertos. * *MoA:* * 👍 *Ventajas:* Flexibilidad, incorpora nuevos modelos, potencial para superar modelos individuales. * 👎 *Desafíos:* Mayor latencia, complejidad en la coordinación. 🚀 *Aplicaciones y Rendimiento* * *MoE:* * 🤖 *Utilizado en:* Switch Transformer, potencialmente GPT-4, Mixtral. * 📝 *Eficaz en:* Procesamiento de lenguaje natural a gran escala. * *MoA:* * 🤖🤖 *Implementaciones como:* Together MoA (supera a GPT-4o en AlpacaEval 2.0). * 🧠🧠 *Efectivo en:* Tareas que se benefician de perspectivas diversas y síntesis de información.
He hecho una prueba de logica con varios acertijos que no estan en internet, y para mi sorpresa Google Gemini Experimetal 1.5 esta muy por encima de GPT-4. Esto no solo es una percepción mía ,esta en el primero en el Test Arena. Quiero decir con esto que GPT4o ya estaba destronado, veremos que sale en Noviembre.
Gracias por la información. Al contrario de muchos, estoy tomando todo esto como un aprendizaje nuevo (no soy ni programador ni ingeniero de sistemas ni nada por el estilo). Veo todo este nuevo aprendizaje como una forma de poder navegar esta "revolución tecnológica", como siempre quise y es por esto que no le veo sentido a comparar todos estos avances. Gracias por la información.
@@CodingMindsetIO pues que hay muchos que le dan mucha importancia a comparar las LLMs y esas cosas. Hoy para mí, no le veo el objetivo pues todos los días se crean nuevas LLMs o IAs. Creo que primero hay que conocer y aprender y quizás después entender cuál de todas esas LLMs o IAs son mejores y para que fines (objetivos) y comparadas con que (ya que muchas se crean con parámetros diferentes). ¡Hoy no tiene sentido comparar!
Desde la versión 4, ChatGPT se basa en una arquitectura conocida como Mixture of Experts (MoE), que es similar a la tecnología Mixture of Agents (MoA). En lugar de utilizar agentes independientes, ChatGPT emplea expertos especializados dentro de un mismo modelo. OpenAI no revela todos los detalles, pero se sabe que GPT-4 utiliza ocho expertos, cada uno con 220 mil millones de parámetros. Un mecanismo de gating coordina cuál experto maneja cada parte del input, permitiendo una especialización y eficiencia similar a MoA. Esto optimiza el rendimiento y reduce los costos computacionales, haciendo que GPT-4 no se quede atrás respecto a las tecnologías MoA modernas.
Gracias por tu comentario detallado. Es interesante cómo comparas MoE y MoA, pero hay algunos puntos importantes que debemos aclarar. MoE y MoA, aunque similares en nombre, tienen diferencias significativas: - MoE típicamente usa un solo nivel de "expertos" con un mecanismo de enrutamiento dentro de la arquitectura del modelo. - MoA emplea una arquitectura en capas con "proponentes" y "agregadores", implementada de manera programática usando múltiples modelos independientes. - MoA es un enfoque que cae mas del lado de la ingeniería de IA mientras que MoE más de la ciencia. - MoA es un enfoque más reciente que se centra en la colaboración entre modelos independientes, mientras que MoE se enfoca más en la eficiencia dentro de un único modelo grande. Una distinción clave es que MoE es parte integral de la arquitectura del modelo, mientras que MoA se implementa de forma programática, combinando modelos existentes. Espero que haya servido de ayuda esta aclaración. Saludos!😊
@@CodingMindsetIO Estoy completamente de acuerdo con la distinción que haces. Lo ideal sería que los "MoA" invocaran a las IA con tecnología de "MoE". Desde hace tiempo, estoy convencido de que nuestros smartphones pronto incorporarán IA personales, que funcionarán como proxies para comunicarse con IA remotas. Estas IA personales actuarán como directores de orquesta, conectadas a otras IA especializadas, según nuestras necesidades y el proveedor que elijamos. De esta manera, podríamos tener una IA dedicada a nuestra vida personal y otra a nuestra vida profesional. Esta doble calificación, en la que la IA del usuario se adapta a sus necesidades y las IA especializadas se seleccionan para responder a ellas, permitiría al usuario recuperar el control, tanto legal como psicológico, de sus datos personales y de la información a la que desea estar expuesto. La IA del futuro sería, por tanto, una IA autoritativa, es decir, una IA con la capacidad de autorizar o denegar el acceso a determinadas informaciones en nombre del usuario. Estas autorizaciones se gestionarían tanto cualitativa como cuantitativamente. La paradoja de esta evolución es que, en lugar de abrumarnos, la IA podría convertirse en el mejor escudo para proteger nuestra vida privada. Para lograrlo, es esencial establecer una lógica de interconexión entre IA, con un proxy tecnológico sólido que nos permita gestionar libremente a qué queremos estar expuestos y a qué no. En este sentido, la IA se convertiría en sinónimo de libertad. Todo lo contrario a los temores que estas tecnologías suscitan actualmente. Los proveedores que entiendan esto y ofrezcan agentes IA personales tomarán una gran ventaja sobre los demás.
Gran vídeo, da muchas ideas para profundizar, tal vez los proponentes y agregadores pueden crear distintas branches, por ejemplo aplicado a un código que unos se centren en crear tests, otros el backed, otros el frontend, etc, y también incluso se podría pensar en añadir soporte para multi-modalidad, esto de los MoA tiene un potencial tremendo si lo pensamos.
Interesante video, a mi personalmente me gusta que se incluya código y es algo que otros canales divulgativos no lo hacen, valoro ese esfuerzo ❤ Son metodologías del tipo chain-of-thought en donde inferencias anteriores van enriqueciendo las siguientes. Son trabajos experimentales abordados por desarrolladores como nosotros que nos gusta jugar con lo que las grandes corporaciones nos van trayendo. Aunque es interesante ver los resultados que puede alcanzar veo limitantes que me hacen pensar que no es una arquitectura viable: * costó: genera un gran número de tokens por respuesta. * tiempo: al depender de muchas inferencias previas consume mucho tiempo por respuesta. * calidad: muchos modelos, casi todos son destilados de otros más grandes por lo que si una pregunta no tiene una respuesta aceptable por un modelo grande muy probablemente ningún otro modelo la pueda tener terminando igualmente en respuestas de mala calidad. Recomendación: si lo que queremos es mejorar la calidad de nuestras respuestas lo mejor es un fine tuning.
Genial video con explicacion muy detallada,jjaa y cierto nivel de marketing poniendo un tono epico a la introduccion que le agrega entretenimiento. Me encantaria que pusieras los links de los articulos que consultas en la descripcion.
Muchas gracias por tu comentario! 😊 me alegra que te haya gustado y que aprrecies el trabajo y el esfuerzo que le pongo a los videos (marketing incluido 😜). Te ineteresaría el paper de MoA?
@@CodingMindsetIO Muchas gracias. A raiz de tu video busque el paper original y el repositorio de github. Despues de ver tu video pasarme por el repositorio y entender lo que planteaban fue mucho mas sencillo. Simplemente queria ver un poco mas de la metodologia para evaluar el performance y ver un poco mas sobre el tipo de problemas que hay en los datasets que se usaron.
Gracias por tu suscripción y tu comentario! Interesante tu propuesta, habría que experimentar cómo de viable podría llegar a ser. Próximamente tengo pensado crear algunos vídeos centrados en la generación de imagenes y videos. Saludos! 😊
No soy un experto en el tema, pero he pensado en algo como un gestor de modelos, un modelo más capaz que determine el nivel de recursos que debe tomar la pregunta y, en base a eso, se determine el nivel de potencia que debe tener el modelo. Por ejemplo, para tareas simples puede elegir modelos pequeños y para cosas más complejas puede usar los mayores recursos del sistema y emplear los modelos más potentes. Claro que esto haría que todo fuera más lento porque o bien todos los modelos tendrían que estar cargados en una GPU o bien tendrían que cargarse según el requerimiento.
En el canal de Matthew Berman hay un vídeo específico que aborda, me parece, ese mismo enfoque. No recuerdo cuál es específicamente, pero te dejo la dirección de ese canal, pues tiene varios vídeos sobre la utilización de agentes: www.youtube.com/@matthew_berman
Tu idea es muy interesante y, de hecho, se asemeja bastante a un concepto real en IA llamado MoE (Mixture of Experts). MoE funciona de manera similar a lo que describes: - Tiene múltiples "expertos", que son como modelos especializados en diferentes tareas. - Usa un "gestor" (llamado mecanismo de enrutamiento) que decide qué experto o combinación de expertos usar para cada tarea. - Esto permite usar recursos de manera eficiente, activando solo los expertos necesarios para cada tarea. - MoE puede manejar tareas simples y complejas, adaptándose según sea necesario. La diferencia principal con tu idea es que en MoE, todos los expertos suelen estar disponibles simultáneamente, lo que evita el problema de carga que mencionas. Esto permite que MoE sea eficiente y rápido. Tu intuición te llevó a una idea tan cercana a un concepto avanzado en IA. Gracias por compartir tus pensamientos! Saludos! 😊
Que configuración de PC o Mac aconsejarías para poder trabajar comodo y para el futuro. Mi MacBook pro Intel va a pedales y es tiempo de actualizar y cómo la empresa paga parte del nuevo equipo, que podrias sugerir?
Si te sientes cómodo con Mac, bajo mi punto de vista son una grandísima opción con los nuevos chips de Apple. La RAM es comaprtida con la gpu y la cpu, esto hace que podamos ejecutar modelos bastante grandes en local. Por otro lado con un pc con gráfica Nvidia tendremos mayor velocidad de inferencia pero encontraremos limitaciones con el tamaño de la vRAM, haciendo que para ejecutar modelos grandes tengamos que montar clusters de GPUs. pd. si te dices por Mac, yo esperaría la lanzamiento de los nuevos con el chip M4 que se espera en spt/oct. Saludos!😊
@@CodingMindsetIO Mucha gracias con una configuración básica de M2, 8 o mejor 16GB y no se exactamente cómo son los nucleos, creo que van 11 o 12, 16, sería suficiente?
Hola! MoE y MoA son cosas diferentes! Te copio una respuesta que acabo de dar explicando las diferencias clave: Es interesante cómo comparas MoE y MoA, pero hay algunos puntos importantes que debemos aclarar. MoE y MoA, aunque similares en nombre, tienen diferencias significativas: - MoE típicamente usa un solo nivel de "expertos" con un mecanismo de enrutamiento dentro de la arquitectura del modelo. - MoA emplea una arquitectura en capas con "proponentes" y "agregadores", implementada de manera programática usando múltiples modelos independientes. - MoA es un enfoque que cae mas del lado de la ingeniería de IA mientras que MoE más de la ciencia. - MoA es un enfoque más reciente que se centra en la colaboración entre modelos independientes, mientras que MoE se enfoca más en la eficiencia dentro de un único modelo grande. Una distinción clave es que MoE es parte integral de la arquitectura del modelo, mientras que MoA se implementa de forma programática, combinando modelos existentes. Espero que haya servido de ayuda esta aclaración. Saludos!
y podria ponerse cada agente en un pc diferente con su propia gpu y que trabajen en red? Lo pregunto por que una maquina para 9 ias podria ser inalcanzable pero 9 pcs podria ser mas posible.
Se podría perfectamente, podríamos utilizar un sistema de colas como RabbitMQ o Kafka para ayudarnos con el tranporte de los mensajes. Justo en mi video anterior hablo de Llama-Agents que se basa en una arquitectura distribuida y te puede servir de inspiración para construir ese sitema tan interesante que comentas! Saludos!😊
Hola, en primer lugar felicitarte por el video y la explicación, a pesar de lo que voy a exponer, no creo que mi forma de pensar vaya en detrimento de la exposición técinica que has hecho. La respuesta que has obtenido sobre el sentido de la vida es reiterativa en lo referente a la experiencia subjetiva, es limitada en el análisis filosófico dejando de lado muchas posturas sobre este tema desde la época clásica a la actualidad y haciendo una síntesis que se corresponde con un nivel muy básico. En el apartado teológico, más de lo mismo en cuanto a la diversidad en los diferentes credos. Efectivamente la respuesta es extensa, pero muy limitada, da para una mala redacción o una redacción de nivel básico. No es que lo que planteas no sea cierto y que la suma de modelos de lenguaje no de mejores resultados, lo que es cierto es que por lo que he podido ver el nivel actual de los modelos de lenguaje cuando tienen que responder a este tipo de preguntas es bastante penoso. Sin embargo, la cosa cambia cuando creas un agente o donde eres tú el que selecciona la base de conocimiento. Yo haría una comparación entre CHATGPT y esta configuración que propones usando una base de conocimiento común, por ejemplo un par de libros de filosofía y teología. Al menos CHATGPT ya los admite sin problemas.
Hola! Muchas gracias por tomarte el tiempo de comentar y sobretodo aportar tu visión en cuanto a las respuestas. Obviamente no soy filósofo 😂, así que dentro de mi ignorancia en este campo me parecía una respuesta bastante buena, entiendo que bajo un ojo experto pueda considerarse deficiente. Esto lo único que prueba es que por ahora los humanos seguimos siendo mejores que la IA en muchísimos aspectos. Por otro lado, ChatGPT usa un sistema RAG para hacer la recuperación y síntesis de la información, esta técnica es perfectamente compatible con MoA, tan sólo hay que crearlo y combinar los dos sistemas. La comparativa es compleja ya que en un sistema RAG la parte de recuperación de la información es crítica, para hacer una comparativa justa en este aspecto tendríamos que saber exacatamente el sistema que tiene montado OpenAI y replicarlo. De nuevo gracias por tu aporte y visión desde un ojo más experto en términos de filosofía. Saludos! 😊
@@CodingMindsetIO Gracias a usted por su interés y corrección, uso mucho ChatGpt para tareas educativas, también uso Claude entre otros. Desde que se puede poner una base de conocimiento restringida por el usuario, así podemos controlar la calidad de las fuentes, las respuestas y la productividad son exponenciales. La idea de combinar varios modelos y hacerlos trabajar en conjunto me resulta apasionante, abre campos increibles y más si tenemos control sobre la calidad de las fuentes que utilicen. Es muy tentador hacer que estos modelos hagan todo el trabajo, pero si se espera calidad, en estos momentos, es mucho mejor tener control sobre las fuentes. Muchas gracias una vez más.
Hola! Pues sería interesante la prueba, habría que escoger modelos proponentes que estén fine-tuneados para el tema código cómo Codestral, DeepSeek coder, etc.. seguro que los resultados son interesantes! Saludos! 😊
Excelente pregunta. Es importante entender que MoA (Mixture of Agents) y LangChain son tecnologías diferentes que sirven propósitos distintos, por lo que no es exacto compararlas directamente en términos de eficiencia. MoA es una arquitectura para combinar múltiples modelos de lenguaje, mientras que LangChain es un framework para desarrollar aplicaciones basadas en modelos de lenguaje. Saludos!😊
@@CodingMindsetIO pero por ejemplo cuál sería un ejemplo práctico de uso de MOA. Me imagino que con esa arquitectura podemos construir aplicaciones también o no sería posible..?
🎯 Puntos clave: 00:00:00 *🌐 Introducción a MoA y su impacto en la IA* - Presentación de MoA como una tecnología que supera a GPT-4o a menor costo, - Explicación del concepto de MoA como una "orquesta" de inteligencias artificiales colaborando en capas. 00:43:00 *🧠 Funcionamiento técnico de MoA* - Descripción técnica de MoA como una arquitectura de procesamiento en capas que integra múltiples modelos de lenguaje, - Explicación del proceso de autorreafinamiento y sus limitaciones, y cómo MoA las supera utilizando múltiples modelos. 05:21:00 *🛠️ Ventajas y resultados de MoA en benchmarks* - Ventajas de MoA como la capacidad de combinar fortalezas de múltiples modelos y superar limitaciones, - Presentación de resultados destacados de MoA en benchmarks clave como Alpaca Eval 2.0 y MT-Bench. 07:16:00 *🔍 Ejemplo práctico de MoA en código* - Descripción del proceso de construcción de un sistema MoA con múltiples capas de modelos, - Explicación detallada del código utilizado para implementar MoA, incluyendo la configuración de modelos proponentes y agregadores. 11:23:00 *🤝 Sinergias y colaboración en la comunidad de IA* - Invitación a unirse al grupo de Telegram para compartir recursos y colaborar en proyectos de IA, - Detalles sobre la importancia de la comunidad para el desarrollo y retroalimentación en inteligencia artificial. 18:59 *🏗️ Arquitectura multicapa de MoA* - Explicación de cómo funciona la arquitectura multicapa de MoA, permitiendo iterar a través de múltiples capas para mejorar la calidad de las respuestas. - Descripción del uso de capas adicionales para aumentar la complejidad y mejorar el resultado final, aunque a un mayor costo de procesamiento. 21:59 *🧪 Ejecución y resultados de MoA en dos capas* - Demostración de la ejecución de MoA en una configuración de dos capas, mostrando cómo se generan y combinan las respuestas de los modelos proponentes. - Análisis de los resultados, destacando cómo la combinación de respuestas mejora la calidad final en comparación con las respuestas individuales de los modelos. 27:33 *🔄 Comparación de respuestas en arquitectura multicapa* - Ejecución de MoA con una capa adicional, comparando la calidad de las respuestas obtenidas con y sin la capa extra. - Evaluación de la efectividad de la capa adicional en mejorar la concisión y precisión de la respuesta final, mostrando cómo una capa extra puede afinar aún más el resultado. 31:18 *🧩 Insights clave sobre el funcionamiento de MoA* - Resumen de los aprendizajes clave sobre MoA, destacando cómo la diversidad de modelos y la estructura multicapa mejoran los resultados. - Comparación de MoA con benchmarks tradicionales y evaluación de su rendimiento en preguntas complejas y filosóficas.
Llevándolo a l apráctica y uso diario, el modelo más avanzado es aquel que te permita ser más productivo en tus tareas del día a dia. Hay modelos que tienen rendimientos diferentes en tareas específicas. Yo te recomendaría que probases los modelos SOTA (state-of-the-art) como Claude, Gemini, Grok y te quedes con el que mejor cumple el cometido que le propongas. Saludos!
Muy probablemente lo supere. Los Benchmarks son anteriores a este último checkpoint que comentas, pero tan sólo sería cuestión de encontrar las combinaciones de modelos proponentes y agregador que nos dé un mejor resultado. En función de los modelos escogidos el coste varia, así que ahí si es probable que el ahorro no sea exactamente de la mitad. Saludos! 😊
![I.N "HALLUCINATION" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/n5B5q1Hwt_U/mqdefault.jpg)
Debido a la confunsión generado entre MoE y MoA, os dejo por aquí una comapración detallada de sus diferencias, ya que NO son lo mismo:
🤖 *Arquitectura y Diseño*
* *MoE (Mixture of Experts):*
* 🧠 *Estructura Interna:* Parte integral de un único modelo grande.
* 🧩 *Componentes:* Múltiples "expertos" (subredes neuronales) + mecanismo de enrutamiento.
* 🔀 *Funcionamiento:* El enrutamiento decide qué experto(s) procesar cada parte de la entrada.
* ⚡ *Paralelismo:* Los expertos procesan diferentes partes a la vez.
* *MoA (Mixture of Agents):*
* 🌐 *Estructura:* Sistema distribuido con múltiples modelos independientes.
* 🤖🤖 *Componentes:* "Proposers" (generan respuestas) + "Aggregators" (sintetizan respuestas).
* 🔄 *Funcionamiento:* Proceso en capas, cada capa refina las salidas de la anterior.
* 🧠🧠 *Paralelismo:* Los proposers generan respuestas en paralelo.
🛠 *Implementación y Escalabilidad*
* *MoE:*
* ⚙ *Implementación:* Integrada en el modelo durante el entrenamiento.
* 🚀 *Escalabilidad:* Aumenta el tamaño del modelo sin incrementar mucho los costos.
* 🔋 *Eficiencia:* Activa solo los expertos relevantes.
* *MoA:*
* 🔌 **mplementación:* Combina modelos pre-entrenados.
* ➕ *Escalabilidad:* Fácil añadir más modelos.
* 🎯 *Eficiencia:* Usa modelos más pequeños y especializados.
🧠 *Procesamiento de Información*
* *MoE:*
* ➡ *Flujo de datos:* A través de expertos seleccionados dentro del mismo modelo.
* 🧠 *Toma de decisiones:* Centralizada (mecanismo de enrutamiento).
* 💭 *Contexto:* Unificado.
* *MoA:*
* 🔁 *Flujo de datos:* A través de múltiples modelos independientes.
* 🧠🧠 *Toma de decisiones:* Distribuida (proposers y aggregators).
* 💭💭 *Contexto:* Cada modelo aporta su propio contexto.
🏋♀ *Entrenamiento y Adaptabilidad*
* *MoE:*
* 🏋♀ *Entrenamiento:* Como un único modelo.
* 🎯 *Adaptabilidad:* Se especializa en subdominios durante el entrenamiento.
* 🔄 *Fine-tuning:* Ajusta todo el modelo.
* *MoA:*
* 🏋♀ *Entrenamiento:* Modelos individuales por separado.
* 🤸♀ *Adaptabilidad:* Muy flexible, combina modelos con diferentes especializaciones.
* 🔄 *Fine-tuning:* Ajusta solo los aggregators o añade proposers.
👍👎 *Ventajas y Desafíos*
* *MoE:*
* 👍 *Ventajas:* Eficiencia, maneja tareas diversas.
* 👎 *Desafíos:* Complejidad del enrutamiento, subutilización de expertos.
* *MoA:*
* 👍 *Ventajas:* Flexibilidad, incorpora nuevos modelos, potencial para superar modelos individuales.
* 👎 *Desafíos:* Mayor latencia, complejidad en la coordinación.
🚀 *Aplicaciones y Rendimiento*
* *MoE:*
* 🤖 *Utilizado en:* Switch Transformer, potencialmente GPT-4, Mixtral.
* 📝 *Eficaz en:* Procesamiento de lenguaje natural a gran escala.
* *MoA:*
* 🤖🤖 *Implementaciones como:* Together MoA (supera a GPT-4o en AlpacaEval 2.0).
* 🧠🧠 *Efectivo en:* Tareas que se benefician de perspectivas diversas y síntesis de información.
He hecho una prueba de logica con varios acertijos que no estan en internet, y para mi sorpresa Google Gemini Experimetal 1.5 esta muy por encima de GPT-4. Esto no solo es una percepción mía ,esta en el primero en el Test Arena. Quiero decir con esto que GPT4o ya estaba destronado, veremos que sale en Noviembre.
Brutal como siempre!!!! Muchas gracias de nuevo por tus ilustraciones!!!!!
Gracias a ti por comentar! Saludos 😊
Felicitaciones por compartir tus conocimientos
Muchas gracias por tus palabras, me alegra que encuentres valor en lo que comparto! Saludos!😊
Gracias por la información. Al contrario de muchos, estoy tomando todo esto como un aprendizaje nuevo (no soy ni programador ni ingeniero de sistemas ni nada por el estilo). Veo todo este nuevo aprendizaje como una forma de poder navegar esta "revolución tecnológica", como siempre quise y es por esto que no le veo sentido a comparar todos estos avances. Gracias por la información.
Hola! Gracias por comentar! Pero no entendí a que no le veías sentido comparar 👀
@@CodingMindsetIO pues que hay muchos que le dan mucha importancia a comparar las LLMs y esas cosas. Hoy para mí, no le veo el objetivo pues todos los días se crean nuevas LLMs o IAs. Creo que primero hay que conocer y aprender y quizás después entender cuál de todas esas LLMs o IAs son mejores y para que fines (objetivos) y comparadas con que (ya que muchas se crean con parámetros diferentes). ¡Hoy no tiene sentido comparar!
Muy buen video, gracias por el esfuerzo q haces
Gracias a ti, por tu comentario y apoyo! Saludos! 😊
Desde la versión 4, ChatGPT se basa en una arquitectura conocida como Mixture of Experts (MoE), que es similar a la tecnología Mixture of Agents (MoA). En lugar de utilizar agentes independientes, ChatGPT emplea expertos especializados dentro de un mismo modelo. OpenAI no revela todos los detalles, pero se sabe que GPT-4 utiliza ocho expertos, cada uno con 220 mil millones de parámetros. Un mecanismo de gating coordina cuál experto maneja cada parte del input, permitiendo una especialización y eficiencia similar a MoA. Esto optimiza el rendimiento y reduce los costos computacionales, haciendo que GPT-4 no se quede atrás respecto a las tecnologías MoA modernas.
Gracias por tu comentario detallado. Es interesante cómo comparas MoE y MoA, pero hay algunos puntos importantes que debemos aclarar. MoE y MoA, aunque similares en nombre, tienen diferencias significativas:
- MoE típicamente usa un solo nivel de "expertos" con un mecanismo de enrutamiento dentro de la arquitectura del modelo.
- MoA emplea una arquitectura en capas con "proponentes" y "agregadores", implementada de manera programática usando múltiples modelos independientes.
- MoA es un enfoque que cae mas del lado de la ingeniería de IA mientras que MoE más de la ciencia.
- MoA es un enfoque más reciente que se centra en la colaboración entre modelos independientes, mientras que MoE se enfoca más en la eficiencia dentro de un único modelo grande.
Una distinción clave es que MoE es parte integral de la arquitectura del modelo, mientras que MoA se implementa de forma programática, combinando modelos existentes.
Espero que haya servido de ayuda esta aclaración.
Saludos!😊
@@CodingMindsetIO Estoy completamente de acuerdo con la distinción que haces. Lo ideal sería que los "MoA" invocaran a las IA con tecnología de "MoE".
Desde hace tiempo, estoy convencido de que nuestros smartphones pronto incorporarán IA personales, que funcionarán como proxies para comunicarse con IA remotas. Estas IA personales actuarán como directores de orquesta, conectadas a otras IA especializadas, según nuestras necesidades y el proveedor que elijamos. De esta manera, podríamos tener una IA dedicada a nuestra vida personal y otra a nuestra vida profesional. Esta doble calificación, en la que la IA del usuario se adapta a sus necesidades y las IA especializadas se seleccionan para responder a ellas, permitiría al usuario recuperar el control, tanto legal como psicológico, de sus datos personales y de la información a la que desea estar expuesto.
La IA del futuro sería, por tanto, una IA autoritativa, es decir, una IA con la capacidad de autorizar o denegar el acceso a determinadas informaciones en nombre del usuario. Estas autorizaciones se gestionarían tanto cualitativa como cuantitativamente. La paradoja de esta evolución es que, en lugar de abrumarnos, la IA podría convertirse en el mejor escudo para proteger nuestra vida privada. Para lograrlo, es esencial establecer una lógica de interconexión entre IA, con un proxy tecnológico sólido que nos permita gestionar libremente a qué queremos estar expuestos y a qué no. En este sentido, la IA se convertiría en sinónimo de libertad.
Todo lo contrario a los temores que estas tecnologías suscitan actualmente. Los proveedores que entiendan esto y ofrezcan agentes IA personales tomarán una gran ventaja sobre los demás.
Me gusta su apunte, también soy seguidor de gpt y también pienso que van adelante en sus avances IA
Me ha sorprendido y no lo he escuchado en ningún otro sitio. Enorabuena por el contenido
Muchas gracias por tu comentario! Me alegra mucho que el contenido te haya resultado interesante y novedoso.
Saludos!😊
Buen día, extraordinario aporte, gracias
Gracias a ti! Y gracias por tu comentario! 😊 me alegra que te haya gustado!
Gran vídeo, da muchas ideas para profundizar, tal vez los proponentes y agregadores pueden crear distintas branches, por ejemplo aplicado a un código que unos se centren en crear tests, otros el backed, otros el frontend, etc, y también incluso se podría pensar en añadir soporte para multi-modalidad, esto de los MoA tiene un potencial tremendo si lo pensamos.
Gracias por tu comentario! Realmente el potencial que tiene es enorme!
Saludos!😊
Interesante video, a mi personalmente me gusta que se incluya código y es algo que otros canales divulgativos no lo hacen, valoro ese esfuerzo ❤
Son metodologías del tipo chain-of-thought en donde inferencias anteriores van enriqueciendo las siguientes. Son trabajos experimentales abordados por desarrolladores como nosotros que nos gusta jugar con lo que las grandes corporaciones nos van trayendo.
Aunque es interesante ver los resultados que puede alcanzar veo limitantes que me hacen pensar que no es una arquitectura viable:
* costó: genera un gran número de tokens por respuesta.
* tiempo: al depender de muchas inferencias previas consume mucho tiempo por respuesta.
* calidad: muchos modelos, casi todos son destilados de otros más grandes por lo que si una pregunta no tiene una respuesta aceptable por un modelo grande muy probablemente ningún otro modelo la pueda tener terminando igualmente en respuestas de mala calidad.
Recomendación: si lo que queremos es mejorar la calidad de nuestras respuestas lo mejor es un fine tuning.
Muchas gracias por tu comentario y por dedicarle el tiempo a exponer tu punto de vista! 😊
Un saludo!
Genial video con explicacion muy detallada,jjaa y cierto nivel de marketing poniendo un tono epico a la introduccion que le agrega entretenimiento. Me encantaria que pusieras los links de los articulos que consultas en la descripcion.
Muchas gracias por tu comentario! 😊 me alegra que te haya gustado y que aprrecies el trabajo y el esfuerzo que le pongo a los videos (marketing incluido 😜). Te ineteresaría el paper de MoA?
@@CodingMindsetIO Muchas gracias. A raiz de tu video busque el paper original y el repositorio de github. Despues de ver tu video pasarme por el repositorio y entender lo que planteaban fue mucho mas sencillo. Simplemente queria ver un poco mas de la metodologia para evaluar el performance y ver un poco mas sobre el tipo de problemas que hay en los datasets que se usaron.
muchas gracias, muy interesante y util. una pregunta, para hacer digamos 5 capas el comando seria entonces, python -moa.py --mode multi_layer=5 ?
Gracias por tu comentario! 😊 sería python moa.py --mode multi_layer --layers 3 --prompt "Tu pregunta aquí"
Excelente 👌
Muchas gracias por tu feedback! Me alegro de que te haya gustado! Saludos!😊
Hola gracias por el contenido ya me suscribí. Quiza podrías hacer un video explicando cómo Moa trabaja en la ia generativa en el audiovisual, Gracias
Gracias por tu suscripción y tu comentario! Interesante tu propuesta, habría que experimentar cómo de viable podría llegar a ser. Próximamente tengo pensado crear algunos vídeos centrados en la generación de imagenes y videos.
Saludos! 😊
No soy un experto en el tema, pero he pensado en algo como un gestor de modelos, un modelo más capaz que determine el nivel de recursos que debe tomar la pregunta y, en base a eso, se determine el nivel de potencia que debe tener el modelo. Por ejemplo, para tareas simples puede elegir modelos pequeños y para cosas más complejas puede usar los mayores recursos del sistema y emplear los modelos más potentes. Claro que esto haría que todo fuera más lento porque o bien todos los modelos tendrían que estar cargados en una GPU o bien tendrían que cargarse según el requerimiento.
En el canal de Matthew Berman hay un vídeo específico que aborda, me parece, ese mismo enfoque. No recuerdo cuál es específicamente, pero te dejo la dirección de ese canal, pues tiene varios vídeos sobre la utilización de agentes: www.youtube.com/@matthew_berman
ps es lo que estan haciendo con el nuevo chatgpt
Tu idea es muy interesante y, de hecho, se asemeja bastante a un concepto real en IA llamado MoE (Mixture of Experts). MoE funciona de manera similar a lo que describes:
- Tiene múltiples "expertos", que son como modelos especializados en diferentes tareas.
- Usa un "gestor" (llamado mecanismo de enrutamiento) que decide qué experto o combinación de expertos usar para cada tarea.
- Esto permite usar recursos de manera eficiente, activando solo los expertos necesarios para cada tarea.
- MoE puede manejar tareas simples y complejas, adaptándose según sea necesario.
La diferencia principal con tu idea es que en MoE, todos los expertos suelen estar disponibles simultáneamente, lo que evita el problema de carga que mencionas. Esto permite que MoE sea eficiente y rápido.
Tu intuición te llevó a una idea tan cercana a un concepto avanzado en IA.
Gracias por compartir tus pensamientos!
Saludos! 😊
Que configuración de PC o Mac aconsejarías para poder trabajar comodo y para el futuro. Mi MacBook pro Intel va a pedales y es tiempo de actualizar y cómo la empresa paga parte del nuevo equipo, que podrias sugerir?
Si te sientes cómodo con Mac, bajo mi punto de vista son una grandísima opción con los nuevos chips de Apple. La RAM es comaprtida con la gpu y la cpu, esto hace que podamos ejecutar modelos bastante grandes en local. Por otro lado con un pc con gráfica Nvidia tendremos mayor velocidad de inferencia pero encontraremos limitaciones con el tamaño de la vRAM, haciendo que para ejecutar modelos grandes tengamos que montar clusters de GPUs.
pd. si te dices por Mac, yo esperaría la lanzamiento de los nuevos con el chip M4 que se espera en spt/oct.
Saludos!😊
@@CodingMindsetIO Mucha gracias con una configuración básica de M2, 8 o mejor 16GB y no se exactamente cómo son los nucleos, creo que van 11 o 12, 16, sería suficiente?
PEro Mixtral ¿no es ya un mixture of experts? Hasta ahora el LLM con el que noto mayor coherencia cuando converso es Claude.
Hola! MoE y MoA son cosas diferentes! Te copio una respuesta que acabo de dar explicando las diferencias clave:
Es interesante cómo comparas MoE y MoA, pero hay algunos puntos importantes que debemos aclarar. MoE y MoA, aunque similares en nombre, tienen diferencias significativas:
- MoE típicamente usa un solo nivel de "expertos" con un mecanismo de enrutamiento dentro de la arquitectura del modelo.
- MoA emplea una arquitectura en capas con "proponentes" y "agregadores", implementada de manera programática usando múltiples modelos independientes.
- MoA es un enfoque que cae mas del lado de la ingeniería de IA mientras que MoE más de la ciencia.
- MoA es un enfoque más reciente que se centra en la colaboración entre modelos independientes, mientras que MoE se enfoca más en la eficiencia dentro de un único modelo grande.
Una distinción clave es que MoE es parte integral de la arquitectura del modelo, mientras que MoA se implementa de forma programática, combinando modelos existentes.
Espero que haya servido de ayuda esta aclaración.
Saludos!
y podria ponerse cada agente en un pc diferente con su propia gpu y que trabajen en red?
Lo pregunto por que una maquina para 9 ias podria ser inalcanzable pero 9 pcs podria ser mas posible.
Se podría perfectamente, podríamos utilizar un sistema de colas como RabbitMQ o Kafka para ayudarnos con el tranporte de los mensajes. Justo en mi video anterior hablo de Llama-Agents que se basa en una arquitectura distribuida y te puede servir de inspiración para construir ese sitema tan interesante que comentas!
Saludos!😊
Brutal
Muchas gracias por tu comentario! 😊 me alegra que te haya gustado!
Hola, en primer lugar felicitarte por el video y la explicación, a pesar de lo que voy a exponer, no creo que mi forma de pensar vaya en detrimento de la exposición técinica que has hecho. La respuesta que has obtenido sobre el sentido de la vida es reiterativa en lo referente a la experiencia subjetiva, es limitada en el análisis filosófico dejando de lado muchas posturas sobre este tema desde la época clásica a la actualidad y haciendo una síntesis que se corresponde con un nivel muy básico. En el apartado teológico, más de lo mismo en cuanto a la diversidad en los diferentes credos. Efectivamente la respuesta es extensa, pero muy limitada, da para una mala redacción o una redacción de nivel básico.
No es que lo que planteas no sea cierto y que la suma de modelos de lenguaje no de mejores resultados, lo que es cierto es que por lo que he podido ver el nivel actual de los modelos de lenguaje cuando tienen que responder a este tipo de preguntas es bastante penoso. Sin embargo, la cosa cambia cuando creas un agente o donde eres tú el que selecciona la base de conocimiento. Yo haría una comparación entre CHATGPT y esta configuración que propones usando una base de conocimiento común, por ejemplo un par de libros de filosofía y teología.
Al menos CHATGPT ya los admite sin problemas.
Hola! Muchas gracias por tomarte el tiempo de comentar y sobretodo aportar tu visión en cuanto a las respuestas.
Obviamente no soy filósofo 😂, así que dentro de mi ignorancia en este campo me parecía una respuesta bastante buena, entiendo que bajo un ojo experto pueda considerarse deficiente. Esto lo único que prueba es que por ahora los humanos seguimos siendo mejores que la IA en muchísimos aspectos.
Por otro lado, ChatGPT usa un sistema RAG para hacer la recuperación y síntesis de la información, esta técnica es perfectamente compatible con MoA, tan sólo hay que crearlo y combinar los dos sistemas. La comparativa es compleja ya que en un sistema RAG la parte de recuperación de la información es crítica, para hacer una comparativa justa en este aspecto tendríamos que saber exacatamente el sistema que tiene montado OpenAI y replicarlo.
De nuevo gracias por tu aporte y visión desde un ojo más experto en términos de filosofía.
Saludos! 😊
@@CodingMindsetIO Gracias a usted por su interés y corrección, uso mucho ChatGpt para tareas educativas, también uso Claude entre otros. Desde que se puede poner una base de conocimiento restringida por el usuario, así podemos controlar la calidad de las fuentes, las respuestas y la productividad son exponenciales. La idea de combinar varios modelos y hacerlos trabajar en conjunto me resulta apasionante, abre campos increibles y más si tenemos control sobre la calidad de las fuentes que utilicen.
Es muy tentador hacer que estos modelos hagan todo el trabajo, pero si se espera calidad, en estos momentos, es mucho mejor tener control sobre las fuentes.
Muchas gracias una vez más.
Para generar codigo que tal funciona?
Hola! Pues sería interesante la prueba, habría que escoger modelos proponentes que estén fine-tuneados para el tema código cómo Codestral, DeepSeek coder, etc.. seguro que los resultados son interesantes!
Saludos! 😊
@@CodingMindsetIO
Lo haces tú o lo hago yo? Jejeej
Qué es más eficiente MOA o LangChain?
Excelente pregunta. Es importante entender que MoA (Mixture of Agents) y LangChain son tecnologías diferentes que sirven propósitos distintos, por lo que no es exacto compararlas directamente en términos de eficiencia. MoA es una arquitectura para combinar múltiples modelos de lenguaje, mientras que LangChain es un framework para desarrollar aplicaciones basadas en modelos de lenguaje.
Saludos!😊
@@CodingMindsetIO pero por ejemplo cuál sería un ejemplo práctico de uso de MOA. Me imagino que con esa arquitectura podemos construir aplicaciones también o no sería posible..?
🎯 Puntos clave:
00:00:00 *🌐 Introducción a MoA y su impacto en la IA*
- Presentación de MoA como una tecnología que supera a GPT-4o a menor costo,
- Explicación del concepto de MoA como una "orquesta" de inteligencias artificiales colaborando en capas.
00:43:00 *🧠 Funcionamiento técnico de MoA*
- Descripción técnica de MoA como una arquitectura de procesamiento en capas que integra múltiples modelos de lenguaje,
- Explicación del proceso de autorreafinamiento y sus limitaciones, y cómo MoA las supera utilizando múltiples modelos.
05:21:00 *🛠️ Ventajas y resultados de MoA en benchmarks*
- Ventajas de MoA como la capacidad de combinar fortalezas de múltiples modelos y superar limitaciones,
- Presentación de resultados destacados de MoA en benchmarks clave como Alpaca Eval 2.0 y MT-Bench.
07:16:00 *🔍 Ejemplo práctico de MoA en código*
- Descripción del proceso de construcción de un sistema MoA con múltiples capas de modelos,
- Explicación detallada del código utilizado para implementar MoA, incluyendo la configuración de modelos proponentes y agregadores.
11:23:00 *🤝 Sinergias y colaboración en la comunidad de IA*
- Invitación a unirse al grupo de Telegram para compartir recursos y colaborar en proyectos de IA,
- Detalles sobre la importancia de la comunidad para el desarrollo y retroalimentación en inteligencia artificial.
18:59 *🏗️ Arquitectura multicapa de MoA*
- Explicación de cómo funciona la arquitectura multicapa de MoA, permitiendo iterar a través de múltiples capas para mejorar la calidad de las respuestas.
- Descripción del uso de capas adicionales para aumentar la complejidad y mejorar el resultado final, aunque a un mayor costo de procesamiento.
21:59 *🧪 Ejecución y resultados de MoA en dos capas*
- Demostración de la ejecución de MoA en una configuración de dos capas, mostrando cómo se generan y combinan las respuestas de los modelos proponentes.
- Análisis de los resultados, destacando cómo la combinación de respuestas mejora la calidad final en comparación con las respuestas individuales de los modelos.
27:33 *🔄 Comparación de respuestas en arquitectura multicapa*
- Ejecución de MoA con una capa adicional, comparando la calidad de las respuestas obtenidas con y sin la capa extra.
- Evaluación de la efectividad de la capa adicional en mejorar la concisión y precisión de la respuesta final, mostrando cómo una capa extra puede afinar aún más el resultado.
31:18 *🧩 Insights clave sobre el funcionamiento de MoA*
- Resumen de los aprendizajes clave sobre MoA, destacando cómo la diversidad de modelos y la estructura multicapa mejoran los resultados.
- Comparación de MoA con benchmarks tradicionales y evaluación de su rendimiento en preguntas complejas y filosóficas.
Alguien tiene algún modelo mas avanzado que gpt4?, cómo chat uso este, pero quiero aprender de otras herramientas... Muchas gracias!!!
Llevándolo a l apráctica y uso diario, el modelo más avanzado es aquel que te permita ser más productivo en tus tareas del día a dia. Hay modelos que tienen rendimientos diferentes en tareas específicas. Yo te recomendaría que probases los modelos SOTA (state-of-the-art) como Claude, Gemini, Grok y te quedes con el que mejor cumple el cometido que le propongas.
Saludos!
@@CodingMindsetIO claro que sí, muchas gracias!
Supera a gpt-4o 2024-08-06? Y a mitad de coste 🤔
Muy probablemente lo supere. Los Benchmarks son anteriores a este último checkpoint que comentas, pero tan sólo sería cuestión de encontrar las combinaciones de modelos proponentes y agregador que nos dé un mejor resultado. En función de los modelos escogidos el coste varia, así que ahí si es probable que el ahorro no sea exactamente de la mitad.
Saludos! 😊
Las IA ya me tienen. Harto 😂 todos los dias sale una nueva no entiendo
😅😂😂
Y lo que falta por llegar 😂
Las inteligencias artificiales chinas cuando salgan libres van a ser geniales
Seguro que nos sorprenden! Por ahora tenemos Qwen2 y va bastante bien! Saludos! 😊
@@CodingMindsetIO tiene api para uso comercial? Cuánto cuesta por impresión?
😀