Lo que OpenAI NO quería que supieras sobre GPT4 - (De los MoEs a Mixtral)
HTML-код
- Опубликовано: 29 дек 2023
- OpenAI ha intentado mantener en secreto durante todo el año qué hay detrás del modelo más potente de ChatGPT. En el vídeo de hoy os explicaré en qué consiste el funcionamiento de GPT-4 y su arquitectura de tipo MoE (Mixture-of-expert) que recientemente ha ganado mucha más importancia tras la salida del modelo open source Mixtral 8x7b, de la compañía Mistral AI.
► Blog post de Mistral AI sobre Mixtral 8x7b
mistral.ai/news/mixtral-of-ex...
► Github del Colab con Mixtral 8x7b
github.com/dvmazur/mixtral-of...
► Podcast de George Hotz
• George Hotz - GPT-4's ...
📹 EDICIÓN: Carlos Santana y Diego Gonzalez (Diocho)
-- ¡MÁS DOTCSV! ---
📣 NotCSV - ¡Canal Secundario!
/ notcsv
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colaboradores 
Наука
![DRAGON BALL: Sparking! ZERO - Fused Warriors Trailer [BUDOKAI TENKAICHI Series]](http://i.ytimg.com/vi/84p4Lvyfyes/mqdefault.jpg)
🚨 Ya tenéis el TUTORIAL para instalar Mixtral 8x7b GRATIS en LOCAL! 👉 ruclips.net/video/39yuDBN5Kbs/видео.htmlsi=BTyq2Nve2-mVO0pg 👈
donde se ve ese ranking que has puesto del video
🔥 ¡FELIZ AÑO A TODOS! 🔥 Aprovechad este mensaje para dejar feedback de qué os gustaría ver en este canal el próximo año (formatos y temáticas), o si os ha gustado el trabajo que hemos hecho durante este año, pues palabras bonitas, que también gustan ♥ ¡En 2024 seguiremos contando la revolución de la IA juntos!
haz un video sobre las hackatones a nivel global de todo tipo no solo de hacking
Muy buen trabajo todo el año! A mi lo unico que me faltan son más videos 😂😂. Lo que me esta encantando también es el hilo de twitter, o X, con todos los avances del año en distintos campos, muy buen resumen del año, muy impactante. Espero que el 2024 siga así de bien!!🙌🙌
Feliz Navidad y feliz año nuevo
Sobre el formato: No hagas lo habitual de trocear un video largo para hacer muchos cortos. Hazlo al revés, compón un montón de videos cortos que, encadenándolos con escrol, harán uno largo.
A priori parece mucho más trabajoso, no sé si merecerá la pena, pero el intento sí.
Palabras bonitas ❤❤ Feliz Año Nuevo! 🎉🎉 Esperemos otro año lleno de avances y buenas noticias en el mundo de la inteligencia artificial
Carlitos habla sobre la arquitectura Mamba, vi que X que hablan de ella y es mejor que los transformers
La verdad que 2023 ha superado todas las expectativas y ha sorprendido bastante. Agradecer a dotcsv por el asombroso contenido de calidad, y espero que 2024 traiga las contenido al canal y por supuesto más avances
Por fin, con la comunidad tan grande que hay detrás de los diferentes LLM, no se como no has hablado antes y hecho tutoriales para la gente casual.
Cómo que no xD
Tiene un canal dedicado para eso (Dot CSV Labs)
En qué planeta vives?
Luego de un tiempo me han surgido varias interrogantes:
->Quieren hacer todo en OpenAI, eso va a terminar mal (El que mucho abarca poco aprieta)
->Cada token es computación, supongamos que te computan cada respuesta, el gasto debe ser tremendo, considerando el largo de las respuestas .. a menoooooos, que las respuestas sean malas, porque usan rags de respuestas ya resueltas y las presentan como primera respuesta, para que luego el usuario solicite más información.
->Como decían por ahí, quizás el costo de los 20 dólares o precio por token se va a quedar corto en poco tiempo
->Creo personalmente que lo mejor es combinar la potencia de los GPT de OpenAI con los open source, grandes cosas se podrían hacer.
La segunda opción es lo que estoy detectando de semanas para acá. Las respuestas son tan malas que realmente necesito solicitar dos o tres veces para obtener una respuesta de alta calidad. Es necesario casi siempre darle click en el pulgar abajo en la respuesta para obtener otra un poco más deseable.
Feliz año a tod@s 🎉 Carlos me encantaría ver más contenido de como aplicar la IA en los procesos convencionales de una oficina y una empresa de software con casos prácticos. Felicidades por la progresión del canal, ha sido un año épico ❤
Geniales tus vídeos! Gracias por enseñarnos todo este mundo nuevo 😊. “Entre más…” no, mejor “cuanto más…” 👌🏼
*Feliz año Carlos* vamos a por un año que va a ser la 0stia, vamos a verlo entre todos
Carlos. Eres una máquina. Te sigo desde Marruecos desde hace 3 años. Todo lo que sé de la IA lo he aprendido en este canal. Gracias, gracias y mil gracias :)
Es un robot,no sabia
Muchas gracias a ti y a todos los que hacen posible tu excelente canal. Feliz Año Nuevo…!!! 🎉 Maravilloso divulgar lo que cómo humanos somos capaces de crear …“un yo artificial”… Gracias!!!
Solo espero poder seguir aprendiendo contigo. Gracias por el contenido, me pareces el mas grande en este nicho y lo unico que se me ocurre es mas frecuencia de podcast, charlas, ivox, youtube...🎉🎉🎉 lo que sea.
Que seas muy feliz el año que viene!
Adelante Carlos!! Gracias por toda tu labor de divulgación. 🎉🎉🎉
Me llama la atención que, buscando videos tuyos al respecto, no tengas ninguno sobre Grok. Estoy casi seguro que sabes de qué trata y cuál es su principal propuesta de valor. Sería muy bueno que pudieras lanzar uno sobre esa ia
Feliz Año, gran trabajo!
Madre mía! Cuanto se aprende con tus vídeos! Gracias!
Gracias CSV por tu increible trabajo, si se puede pedir pues me gustaria ver más videos sobre bioinformatica? Como el de alphaphold? Aunque los directos y los videos de analisis son geniales todos, haz lo que quieras yo los veo todos siempre
Muchas gracias por el tremendo aporte de este canal!!! Y también gracias por apoyar a las comunidades Open Source :-) Lo que más me interesa ver este año son los avances en las comunidades Open. Cada nuevo video es un precioso regalo de conocimiento, se agradece el esfuerzo Carlos
Muchísimas gracias por el vídeo Dot! Otra joyita como de costumbre, un abrazo bien fuerte hombre ❤
Feliz Año Nuevo mi estimado Carlos y al equipo de dotcsv. Gracias por todo el contenido del 2023. Saludos desde Lima - Perú.
¡Feliz Año 2024 a tod@s!
Carlos (CSV), muchísimas gracias por todo lo que nos has enseñado este 2023 y anteriores. Esperando tus próximos vídeos.
Saludos.
Muchas gracias por el video. Logras explicar un tema complejo para público general. Me suscribo. Saludos desde Chile✌🇨🇱🇪🇸
Muchas gracias por compartir con nosotros todo ese conocimiento lleno de valor y actualidad. Un feliz año, crack!
¡Gran año realmente! Amo la tecnología y a este canal por su contenido de calidad. Thanks Carlos! 🤟
Woow me flipan tus vídeos qué currada y que bien explicado.
No puedo creer que alguien use bien los términos mil millones y billones!
Gran 2023 para la IA y seguramente 2024 nos siga sorprendiendo mes a mes. Los vídeos siempre de 10, para este nuevo año molaría quizás algún tutorial más de Open Source y Colab, por el resto seguri trayendo la actualidad de la mejor forma como sólo tú sabes hacerlo. FELIZ AÑO 2024!! 🎉🎉
Excelente vídeo Carlos. Agradecido por la información y por tus análisis tan asertados.Feliz Año 2024
Excelente!
Feliz año nuevo! 🎉
¡Muchas Gracias, el mejor video de 2023😎!
Muy bien explicado , mil gracias por tu trabajo divulgativo
Siempre es una gran inversión aprender en este canal. ❤
Gracias por todo Carlos, eres grande feliz Año nuevo!!
feliz año dot un abrazo. Éxitos en tu divulgación científica. Que Dios bendiga nuestra disciplina este 2024
Espectacular video para fin de año, Feliz año nuevo.
Feliz año a todos y gracias por este video 🎉
Qué buen divulgador 🧠 gracias por tu gran aporte!
Feliz Año Carlos y toda la Comunidad!!!!!por un 2024 lleno de sorpresas en este mundo apasionante!!!!
Feliz año y gracias ❤
Feliz año Carlos (saludos desde la Patagonia Argentina). Nos conocimos en el evento de inicio del Master en IA en Madrid.
Óptimo video. Inteligente. Gracias. Feliz y luminoso 2024.
Feliz Año, sigue informándonos de esta manera que nos gusta tanto.
@DotCSV mi admiracion total por poder explicar un tema tan complejo de una forma tan sensilla y didactica 👏👏👏
Feliz año al mejor canal de RUclips! 🎉
Feliz año maestro!!! Muy bueno desde Argentina!
excelente video,
gracias por compartir
tus comparativas son muy acertadas
Muchas gracias por tus excelentes explicaciones, admiro tu capacidad de hacer evaluaciones comparativas de los distintos conceptos que este año aparecieron uno tras otro y no te han dejado descansar un solo día!
Feliz 2024.
Feliz año, gracias por todo el contenido
Felicidades, cada vez maquetas mejor los vídeos con presentaciones.... espectacular para poder llegar a los espectadores.
Amo este canal, loco! Explicas de maravilla!
Excelente explicación. Gracias!
Feliz año¡¡¡que ganas de un video como este de IA que no te vendan un curso en cada frase, gracias por ese contenido n1
Gracias por todas tus explicaciones
Excelente video! Buen año!
Feliz año excelente video y mucha, mucha información IA
Excelente video como siempre, muchas felicidades, lo mejor en 2024🎉.
Seria muy interesante saber entonces cuales son las areas de expertise de cada sub-modelo para poder explotar mejor su potencial a través del prompt, no? Hay algún indicio sobre como esta formada la “caja de herramientas”(cada experto)?
Muchas gracias por tu trabajo, un año apasionante de la mano de Dot CSD - Feliz 20IA
Muy bien, gracias por la información 👏🏻👏🏻
Excelente, Feliz año nuevo
Muchas gracias por el contenido!!
Ultimo video del año te quiero maestro ❤ gracias
Carlos.
¿Cómo se puede hacer un MoE con la I.A. llamada SOLAR?.
Feliz Año Nuevo a todos los que participáis y comentáis en el canal.
Muy bueno, como siempre, gracias.
Sigue así, gran contenido y explicación.Grande.
PD: No te olvides de tu canal secundario.
OMG ❤ no te puedo creer el regalito que nos trajiste!
Se viene video de MOE? Como hacías antes?
que locura de video, gracias por enseñarme tanto.
Efectivamente , una perspectiva agotadora. Animo
Excelente video para acabar el año. Esperando con ganas ver qué nos depara el futuro próximo (y cómo nos lo cuentas tú) :-).
eres una maquina carlos!! feliz añoo!!
No es una máquina es un HUMANO y por eso mismo es grandioso. ❤
Wt fff, CSV , trae info muy valiosa, me gusta mucho, Ahora a investigar mas acerca de esto i love it
Oye Carlos, me molesta la puerta del cuarto tan vacía, porque no pones una foto de los reyes o del Fary?
Por eso te amo.
Gracias por tus vídeos, me abrieron los ojos y la verdad soy mejor, gracias, en verdad gracias.
Feliz Año Nuevo!!!!
Carlos, joyazas tus videos. (por ahora) me resta saber qué herramientas utilizas para graficar y animar tus videos, me serviria muchisimo para presentaciones, si te gustaria compartirlas.
Gracias desde ya!!
Abrazo y saludos
Ya era hora ya esperaba nuevo video
Ingeresantisimo. Y da gusto que traduzcas bien los billones que hoy dia...
Solo digo que este canal lo va a petar este año 2024. Canal referente
¡Gracias!
Feliz año nuevo
@DotCSV eres la caña. Me encantaría que hagas un analisis del nuevo modelo chino QWEN, dicen que es superior a ChatGPT en algunaas cosas O_o. Feliz año!
Imposible no encontrar analogías con el desarrollo de la física a principios del siglo XX. La revolución que supuso la Relatividad General y la Cuántica me recuerda mucho a este bombardeo de desarrollos en Inteligencia Artificial.
¡Gracias por tanto, Carlos!
¡Feliz 2024!
Hola. Si me interesa tu tutorial sobre el mixtral. Como va la implementacion de estos modelos para procesadores de mac M2?
Genial. Gracias !
Feliz año maquinon 🎉
Pero tío, qué habilidad tienes para crear hype. Estoy ya que no puedo maaaas. Quiero ver qué hace el mundo OpenSource
Una de las trabas más grandes de las empresas para el uso de modelos ai es el uso de la información. Este tipo de modelos que no necesitan de la nube puede darle por fin ese empujón que tanto se necesita
@DotCSV Tengo una duda desde mi ignorancia, no podrian poner los modelos por modulos.
Es decir, Mixtral-programacion
Mixtral-medicina
Mixtral-....
y que uno solo levante el de programacion si es el que necesita ??
Después sacaran no solo 8 expertos como Mixtral, si no conjuntos de expertos 2 o 3 expertos en cada área, y también para otro tipo de IA's como las que generan imágenes, imagina un experto o un conjunto de expertos generando "manos" antes de darte la imagen final, se viene poderoso el 2024 💪
Por eso son importantes los prompt, para activar los MoEs correctos.
Excelente video
Ahora si se está poniendo interesante el asunto de modelos de lenguaje.
Deseando ver ese vídeo demostración de Mixtral, sería una gran forma de comenzar 2024
Excelente video! Me hubiese encantado un video tuyo usando Gemini Pro, para ver que tal te parece en comparación con Chat GPT 3.5
Buenas. Molaría saber cómo poder ejecutar esto en nuestras casas paso a paso. Y que tipo de hardware necesitamos.
Feliz año para ti también Carlos. En este canal me siento tan feliz de ser ñoña y eso es algo por lo que siempre te agradeceré ❤
Y qué diferencia habría entre un modelo MoE y los modelos multimodales como los de Gemminis?
feliz año parce.
magistral!
Pues yo no tengo mucha idea de machine learning pero ya supuse que detrás de chatgpt (y de Bing chat, y de otros tantos) tenían que haber varios modelos especializados. De hecho esto es muy fácil de ver cuando usas el chat de copilot que se basa en gpt4 pero está especializado en programación: responde muy rápido y muy exacto pero solo sabe hablar de programas, si le intentas hablar de otra cosa parece un robot sin alma. Imagino que Microsoft habrá cogido la parte de gpt4 que le interesa para copilot.
Y de paso una vez logrado su objetivo Mistral. Pronto (en menos de 3 meses) tendremos GPT4 turbo. 😀