Llevo todo lo que va de año desarrollando una aplicación LLM con OpenAI y un RAG específico para la empresa en la que trabajo. La aplicación es multiusuario y multichat (se pueden crear diversos chats con sus respectivos RAG) y este vídeo me ha parecido muy interesante. Como dice Nate, hay mucho más que se puede hacer y a medida que pase el tiempo y se vaya innovando, más se podrá hacer. Un concepto muy interesante es ¿cómo de preciso es mi modelo? Claro, no puedes hacer tests unitarios porque no sabes qué te va a contestar la IA de entrada, así que existen componentes de evaluación y, como si fuera un examen, te da una puntuación de la respuesta entre 0 y 1. Una librería muy famosa que hace esto es RAGAS. Podría extenderme más pero nadie va a leer este comentario así que de momento lo dejo aquí xD
Yo tambien intente hacer un RAG para una empresa que estuve de prácticas, utilizando primero n8n y luego pasando a flowise y experimentando con langflow, mis problemas fueron algunos de los que se mencionan en el video, por ejemplo, si le preguntas que te diga los presupuestos del año 2016 al 2019, el rag no sabe que tiene que consultar los años 2016, 2017 , 2018 y 2019. Con estas herramientas me senti un poco limitado y no puede hacer que funcionara bien, tu como has hecho el rag, con alguna plataforma de estas o programandolo con alguna libreria como LangChain? Gracias!
@@djkaruyt Pensaba que como este canal suele tener un montón de comentarios, el mío quedaría enterrado y no lo vería nadie xD. Voy a intentar explayarme, ladrillo va. Si los presupuestos que mencionas tiene que calcularlos el LLM (lo ignoro) date por muerto porque al menos GPT es muy malo con los números. Esto es debido a que no utiliza lógica determinista si no probabilística (lo que menciona Nate con las distancias en las bases de datos vectoriales). Al final en esto, como en cualquier cosa relacionada con ciencia de datos, y esto al fin y al cabo lo es, lo que importa es la calidad de los datos y los metadatos frente a la cantidad. De nada vale meterle un montón de textos y PDFs si la mayoría es broza. Uno puede pensar que cuanto más datos le metas a una red neuronal mejor, pero no es tan así. Los datos deben ser trascendentes. Mi aplicación era para una empresa del sector médico. Efectivamente, como dices la he desarrollado con django y langchain usando OpenAI y ChromaDB pero la idea es que esas opciones se puedan cambiar en el futuro, usando otros modelos y bases de datos. Como hay diversas dolencias, la idea es tener varios chats, cada uno especializado en una cosa (asma, artritis, etc). Para ello existen las guías medicas oficiales que están muy bien como inicio pero si se quiere cumplimentar más se tira por ejemplo de pubmed. Luego además nosotros ideamos una cosa que llamamos Q&A de refuerzo (preguntas y respuestas). Esto no es un invento nuestro, hay una aplicación para chats llamada chatbase que usa OpenAI que tiene esa opción. Q&A consiste básicamente en meter preguntas o consultas comunes sobre la dolencia o asunto y sus respuestas correctas. Esto evidentemente lo hace un equipo de médicos, no yo. Cómo sabes cuales son las preguntas más comunes? Bueno, aparte de las que puedas deducir tú, creas un log o historial en django con los registros de las conversaciones del chat y así puedes saber si hay alguna pregunta que se repite mucho y cuya respuesta pueda estar no del todo bien. Este Q&A no se puede meter como embedding porque los embeddings se trocean y ocurre entonces que la BD no coge todo el registro si no, solo un trozo. O peor, si el registro es corto coge además un fragmento del siguiente registro. Al hacer esto, y lo tenemos comprobado, se medio inventa respuestas a pesar de que tenemos el parámetro temperature a 0. Entonces la solución es meter tú los registros en la chromaDB, no dejar que lo haga langchain. No es complicado, es solo bajar un nivel en el desarrollo y hacer las queries "a mano". Claro, esto implica que el prompt que se manda a GPT debe ser editado a mano también. De nuevo, no es un problema. Aparte de esto, se puede meter memoria de conversación para que tu app "recuerde" el contexto. Esto no es más que registros en la BD de nuevo, de distinto tipo a las otras dos. Langchain se encarga de ir metiendo los registros de memoria. Este punto en mi app aun no está fino. Lo que decía del RAGAS. RAGAS es una librería en Python (creo que en JS también existe) que "evalúa" preguntas y respuestas con una puntuación de 0 a 1 en base a ciertos parámetros (contexto, documentación, puntuación global...). Entonces, tú puedes meter un excel con n preguntas y ver los resultados. Esta es una tarea que puede tardar un rato en función del número de preguntas, así que sugiero meter Celery de por medio para que vaya en paraalelo. Si por ejemplo le pregunto "En qué franja de edad es adecuado aplicar la vacuna contra la rubeola", debo darle la respuesta correcta (me la invento porque no me la sé, la he buscado en Google) "A partir de los 12 meses de edad". Metes estas dos cosas en un fila de Excel con dos columnas "Pregunta" y "Respuesta", por ejemplo. Así con una muestra de preguntas que veas tú, como si fuera un examen. Esto se manda a GPT o al modelo de turno y después RAGAS evalúa y pone una puntuación, digamos 0.9. Entonces sabes que está bien. Si da 0 o NaN, ¡malooo!
@@djkaruyt Sigo en otro comentario porque tenía miedo de que petara la caja. Otra cosa a tener en cuenta es el treshold. El treshold es un número de nuevo entre 0 y 1 que digamos hace de barrera de entrada al RAG. Me explico. La consulta al RAG al fin y al cabo, como bien dice Nate en el vídeo, no es más que una búsqueda semántica. Esto es una distancia del coseno entre dos vectores: tu pregunta y la posible respuesta que haya en la BD. Una distancia del coseno entre dos vectores es algo muy habitual cuando se buscan cosas "relacionadas" o "parecidas". Si la distancia es 0, entonces es el mismo vector, es decir, ambos registros coinciden tal cual. Si la distancia es 1, entonces son diametralmente opuestos y se parecen lo que un huevo a una castaña. Ahora bien, como para el humano puede resultar contraintuitivo que 0 sea clavado y 1 sea totalmente distinto, se pone luego del revés. El 0 pasa a ser 1 y viceversa y así puedes verlo como un porcentaje. En resumen: que si al hacer una pregunta y consultar en tu BD vectorial, te devuelve un treshold de, digamos, 0.8 es que lo que preguntaste VS la respuesta que se ha recogido de la BD vectorial se "parecen" un 80%. Es decir, que podemos pensar que los datos que hemos sacado son pertinentes con nuestra consulta. Salvo que le digas lo contrario, la base de datos vectorial siempre te va a dar un resultado, tenga este una relevancia de 0.8 como el ejmplo anterior o tenga una relevancia de 0.2. Queremos meter en nuestro prompt un dato que tiene una relevancia de solo un 20%? Bueno, eso depende de lo que quieras en tu modelo pero usualmente diría que no. Es aquí donde podemos limitar el treshold en la consulta. Decirle a nuestra app que si el resultado del RAG tiene un trashold menor a 0.5, por ejemplo, que ni se moleste en insertarlo en el prompt porque entendemos que es un dato de calidad mal. Espero haberme explicado. Hay más desafíos que se pueden hacer y que me gustaría meter en mi trabajo en el futuro. Ejemplos: - Bases de datos de grafos, como dice Nate. - Traducción: esto es un desafío que tiene varias posibles soluciones. Imagínate en el caso de Nate, que ha metido todos los datos en castellano. Qué pasa si alguien pregunta en inglés. Ufff, no quiero enrollarme mucho más pero curiosamente ChromaDB responde bastante bien a preguntas de según qué idiomas dando la referencia EN ESPAÑOL correctamente si tienes treshold bajo. Es decir, si le pregunto sobre la malaria en alemán, casi siempre el RAG devuelve el fragmento de la información sobre la malaria de manera correcta. Pero claro, el prompt irá en español en parte, cómo responderá GPT? En español o en alemán? Hay formas de solventar esto pero ya bastante me estoy enrollando. - Conseguir info en el RAG con imágenes. Se puede, pondría un enlace a un artículo que lo explica pero no sé si se permite meter enlaces en este canal.
A pesar de haber tenido qué dejar la carrera de ingeniería en software por problemas externos, tener este tipo de vídeos tan informativos me anima a no abandonar ese aprendizaje y quedar totalmente obsoleto. Gracias, Nate, por regresarme el amor por la tecnología que poco a poco iba perdiendo.
Podrías explicarme porfavor más o menos de que va la ingeniería en software, al menos lo que sepas. Sería una gran ayuda porque en un futuro tengo pensado hacerla. Crack👍
@@Iván-y5z7g claro que sí, hermano, yo estudié en México, no sé si haya alguna diferencia con otros países, pero aquí es un puesto que se deriva en: desarrollo de software con programación, documentación y planeación, funcionamiento óptimo de equipos que trabajen en el área, así también depuración y optimización de código. Todas estas habilidades las puedes llevar a cualquier área de la tecnología como programación de hardware, fabricación del mismo, bases de datos, videojuegos, inteligencia artificial, mantenimiento de software, programación de páginas web, etcétera etcétera etcétera. De verdad es muuuuy amplio si lo estás dudando, la verdad te lo recomiendo muchísimo, es una carrera que vale totalmente la pena. Mucha suerte!
El asistente demente de 8B, está bien pero cuando se pueda ejecutar un modelo de entre 100 y 236B en Local como el Deepseek o mejor el 405B ahí sí que hablaremos de un Asistente poderoso.
Hola Nate! Soy Game Economy Designer, algunos amigos mios trabajaron en Asphalt 9! Sigo tu canal desde hace muchos años y me parece necesario resaltar la excelencia en la calidad del trabajo. Es increíble la combinación entre información, entretenimiento, calidad de producción, estrategias de marketing y estrategias de negocios todo integrado en una entrega audiovisual. Saludos desde Argentina 💪🏻
Enhorabuena Nate y equipo. Como docente, tengo que aplaudir tu capacidad didáctica. Este video es un ejercicio de docencia brutal. Muchas gracias por este material.
La IA ha cambiado mi vida. Me la paso automatizando cosas y aprenderlo me ha dado excelentes oportunidades. Yo considero que aprender sobre inteligencia artificial es importante para prepararse para el futuro, no necesariamente para desarrollar apps con IA sino porque muy probablemente tu trabajo va a migrar a un esquema que use IA.
Las IAs no van a remplazar a los letrados en cuanto a administracion de informacion digital en la mayoria de niveles, pero al final seran los usuarios como tu quienes van a prevalecer porque sinceramente es asi tal cual las IAs, son nuevas herramientras que se deben entender y comprender para sacarles el maximo provecho en cuanto a la creación de algoritmos variados, o en otras palabras Te volveras el tecnico de una IAs, en el mejor te mantendran el sueldo (en relacion al paso del tiempo) o simple y llanamente la industria te consumira y te pagaran 1/4 menos que antes, pero con la inflacion y la extrema competencia digna de la india, ni lo notaran
el video tiene un minuto de subido........ y hay quienescomentan que el video esta excelente y dura 41 minutos jajajajajajajajajajajajajajaja LA LOCURA
He pasado media vida soñando en una aplicación a la que pueda preguntarle cualquier cosa que tenga guardada en mis documentos personales, y me de la respuesta que necesito. Tras ver el video de forma casual, lo he vuelto a ver con libreta y boli para anotar todas las herramientas que has probado. Soy ingeniero informatico, espero sacarle partido a toda esta información. Gracias por el video, menudas curradas te pegas con la edición.
8gb de vram no es aconsejable para machine learning. Mínimo 16gb vram. Por eso existe la incomprendida 4060ti con 16gb vram. Nunca fue una tarjeta para gaming, sino una gran ayuda para los interesados en machine learning que cuentan con un presupuesto más ajustado.
Hace ya un mes, o quizá más, utilizo Llama 8B en mi PC como RAG desde Pinokio. Le he insertado papers, documentos en pdf, libros enteros...la verdad el trabajo lo hace bastante bien, no es como el ChatGPT de pago, que su nivel es altísimo pero, hoy 2024, que podamos hacer esto en nuestros PC es impresionante. Hoy no veo mi presente sin las IA como acompañante en el día a día de mi profesion
Que gran video. Solamente un aporte Nate, no es "cuantificación", es "cuantización", que es el proceso en el cual un rango continuo de valores se divide en un número finito de niveles discretos.
(edit) está bien es cuantizacion... pero van de un valor discreto de n bits a otro discreto de m bits. Nada de valores continuos, eso se ve en la cuantificación de señales continuas a discretas
Es cuantización, lo que pasa que Nate ha explicado el concepto mal, no pasamos de valores continuos a discretos, sino de valores continuos a valores continuos con menor precisión en bits
Nate soy contador realmente mi carrera no va muy de la mano con la programación o ingenieria de sistemas pero ver tus videos me envuelve y me genera mas intriga y algo que me sorprende es que mi conocimiento sobre sistemas es muy básico y aun así te entiendo, muchas gracias- Saludos desde Colombia
Estaría muy bueno una segunda parte explicando como se conecta esto con una api web y se sube a la nube para que los usuarios puedan hablar con el chat bot 👌
Ojo muchos creerán que eso es como "soplar y hacer botellas" con el video explicativo pero eso va más allá y el desarrollo de RAG sin ser de otro mundo requiere de conocimientos previos en IA y data science, así como la estructuración del proyecto, fijaros que Nate mismo se sorprende que no ha sido fácil y él tiene amplios conocimientos informáticos; a lo que voy es que requiere dedicación y tiempo para no desfallecer en el intento por lo abrumador del tema a pesar de que hay disponible herramientas que "facilitan" el proceso. Gracias Nate por presentar la IA como abrebocas de este amplio panorama que apenas comienza a tomar forma!
Gracias por el excelente video, voy a profundizar mas dado que soy ingeniero en sistemas con maestria en ciberseguridad, y quiero empezar a crear proyectos propios de IA con enfoque en ciberseguridad. Muchas gracias
Yo me he montado lo mejor del mundo para mis clases con las IAS he conseguido todo en local que el audio de todas mis clases se transcriba y que luego otra me las resuma y me de datos claves de dudas que yo tenga sobre esos documentos. Increíble lo útil que puede ser una IA si sabes curártela un poco.
@@grilloazul1936 que me dan. Mantengo un orden en todo el proceso y tengo todas mis clases en archivos resumidas etc por si necesito en algún momento mirar cualquier cosa o incluso preguntar alguna duda sobre alguna clase.
@@Unay.inv1 lo he planteado con modelos open source. Para entrenar tú mismo un modelo de 0 se necesita de una estructura y un nivel de datos con los que entrenarla bastante tocha si quieres buenos resultados. Los modelos que uso son: para transcribir uso a whisper de open AI y para resumir dichos archivos transcritos uso a llama 3.1 con una adaptación, que hay bastantes que te permiten pasarle archivos y cargarlos en su “memoria” como bien explica Nate en su vídeo. Hay algunos tutoriales en RUclips sobre hacer esto pero tengo que decir que la gran mayoría están incompletos y falta alguna herramienta que al informarte un poco acabas sabiendo que necesitas para esto mismo. Pero te invito a explorar un poco todo esto. Busca whisper en local y hay tutoriales. Te recomiendo los que están subidos de habla inglesa ( suelen ser más completos ) y luego buscar un poco e informarse y saber de la cmd leyendo lo que te pide a cada momento bien porque como te digo están casi siempre incompletos los vídeos. Al menos los que vi yo. Te deseo suerte pero no es tan complicado de hacer realmente.
Tremendo vídeo. Me encantaría una lista de videos tuyos enseñando inteligencia artificial. He comprendido bien los conceptos y los motivos de los mismos en este video pero naturalmente no a cómo hacerlo. ¿la bases de datos son no-relacionales de esas usadas en Big-Data?
Justo estaba empezando a meterme en este tema y RUclips me recomienda este video, como siempre Nate, explicando lo complicado en algo sencillo y entendible para todos, gracias por esta informacion introductaria, me va a ser de mucha ayuda en futuros proyectos.
Todo este tema de la inteligencia artificial me parece bastante complejo pero a la vez super interesante, cien por cien voy a indagar un poco más y aprender al respecto. Se me hizo corto el video Nate, muchas gracias por compartir tu conocimiento, se aprecia bastante 😌😁
Impresionante el vídeo!!! Me ha encantado como explicas y como lo complementas con los ejemplos visuales que hace que se entienda a la perfección. Por primera vez he entendido que es el RAG!!! Mil gracias!!! Eres un crack!!! Bueno tú con todos el equipo. Bravo de verdad!!!!
Nate Gentile, Compartiéndonos sus Herramientas... La vida junto a sus personas te lo pagaran muy grandeeee! Gracias a ti implemente algunas herramientas en un canal que estoy comenzando; espero conseguir el éxito para devolvértelo de alguna manera
WOOOW me chuté todo el video enterito, y eso que solo iba a estar un ratito, pero vaya que lo haces muy ameno y entendible y me gustan mucho esos micro repasos de conceptos o procesos que vas explicando a lo largo del video. Ya me suscribí y like seguro vendré por más.
Acabo de tener un flashback de tus videos de hace la tira haciendo reviews de ratones y teclados, y vaya como has cambiado tanto tu como persona como el nivelazo audiovisual y todo el equipo de trabajo que has montado a tu alrededor con los años, si tu o alguien de tu equipo llega a leer esto que sepan que están haciendo las cosas no solo bien sino increíble, sigan así 💪💪
Una pasada de vídeo Nate!!! Como aporte (no sé si lo has probado ya), dentro de AnythingLLM puedes elegir Scrapear tu web y así resolver preguntas como coster de cursos y demás....
Hey Nate espero que todo marche bien. Te tengo una propuesta interesante que es posible que te guste. Estoy seguro que te resultará en una reto agradable. Soy fan del canal desde hace un tiempo y me parece muy profesional todo el trabajo que realizan. Me gusta los usos que le das a la IA y los videos de este tema son una pasada. Actualmente tengo un setup full AMD con un 5950X y una RX 6800 XT. Me preguntaba si podrías hacer algún video tratando el tema de la IA con tecnología de AMD. Se que están atrazados en este aspecto y que que Nvidia lidera el mercado, pero no concibo que no se pueda hacer nada con un hardware tan potente a día de hoy. Me gustaría que nos actualizaras a aquellos que tenemos AMD sobre que se puede hacer, porque se que hay algunas cositas por ahí.... Me gustaría que hicieras algo de IA con alguna librería que funcione con este tipo de hardware. Un saludo.
Muy chulo todo lo que hizo Antes en el vídeo. Solo que LMStudio se actualizo hace unos días y ya integró el RAG a la app jsjsjs. Muy bien video Nate la verdad la IA y desarrollo avanzan super rápido al punto de que nos atrasamos.
Excelente Nate, he estado trabajando en RAGs sencillos para pequeñas empresas. En mi caso aún estoy trabajando mucho en el manejo de versiones, es un poco complejo cuando la información cambia en el tiempo.
¡Este video es una joya Nate! Yo quiero replicar éste mismo proceso pero en un escenario diferente. En el pelicula "The Arrival" 2016 del director Denis Villeneuve, los heptápodos comienzan a compartir miles y miles de imagenes para iniciar una comunicación. Considerando un escenario así, que otras herramientas podrías integrar y utilizar en éste mismo proceso, para crear algo parecido con una base de datos pero de imagenes y simbolos. Ojalá alguno esté interesado en el tema, y conozca proyectos que ya estan en desarrollo; y alcanzables para replicar como el de Nate. ¡Saludos!
Qué gran vídeo! Qué bien explicado. 🎯 Como curiosidad, comentar que con Whisper se puede exportar directamente los subtítulos en TXT con --output_format txt. Por otro lado, algo que también funciona bastante bien y que no conoce todo el mundo es el --initial_prompt, que es una especie de contexto que le das a Whisper para que haga una mejor transcripción. Por ejemplo, en este caso se le podría pasar como parámetro algo así: --initial_prompt Esto es la transcripción de un vídeo de RUclips de Nate Gentile hablando sobre Inteligencia Artificial, Chatbots, LLM, RAG, etc.
Hola Nate, te quiero agredecer. Llevo un tiempo buscando información sobre este tema y tu video me parecio espectacular y una gran forma de tener una base de conceptos junto a modelos y herramientas utiles para experimentar. Muchas gracias 👏
Excelente! Hice lo mismo utilizando la API de OpenAI en Azure y programando un soft en C# que combina todas esas técnicas mostradas en el video. Felicitaciones. Más videos de AI !
Lo ideal sería poder "comprimir" esos "documentos" que tiene que leer, para que lea más rápido sin perder información. Y luego sería interesante emplear dos modelos al mismo tiempo. Ya que así podrías ampliar ese multiverso. En vez de usar la VRAM de la gráfica todo el tiempo, podrías simular tú VRAM. Quizás este proceso fuese más lento, pero como hemos comprimido la información inicial de base, compensaremos el uso de una VRAM ficticia. La combinación de dos modelos con diferente potencia, podría ayudar a elaborar respuestas más depuradas y a filtrarlas. Una de esos modelos podría estar entrenado de base y el otro lo entrenas en específico. De ese modo tendrías que no hay problema de "olvido". Ahora bien, el modelo no generalista no necesita recordar el entrenamiento anterior, solamente lo que tú le quieras hacer que haga. Y para el resto, el modelo más generalista puede acudir a la llamada del específico. Es una idea loca, y no sé si se puede llegar a conseguir o si es factible, pero si funciona, oye, es un puntazo.
Buen video! Consejo para los RUclipsrs, no tengan miedo de poderse un poco técnicos si se requiere, estoy seguro que habemos muchos en la comunidad que sabemos del tema y se los agradeceríamos
Al igual que todos los videos que has hecho en esta serie sobre IA, este ha sido muy educativo y entretenido. Me ha gustado mucho y me ayuda para el proyecto de grado que estoy haciendo. Vi en uno de los artículos que he revisado el concepto de tutor, utilizar estos programas o modelos de IA que trabajan con procesamiento del lenguaje natural para construir tutores o asistentes de estudio, por lo que lo que hiciste en ese video resonó mucho con lo que he estado leyendo recientemente. Saludos desde Colombia.
El problema que veo muchas veces de las AI hoy en día es cuando se ponen creativas, pero eso se puede controlar, pero para eso tenemos que tener cierto nivel para montarlo y configurarlo, pero si muchos pueden, más allá del nivel de la personas, es la capacidad de cobro uar configurarlo y aprendiendo de las IA y ellas de uno, para poder hacerlo
Está muy interesante, tío Nate! Me imagino que vas asacar una segunda parte haciendo los ajustes de parámetros para respuestas en tiempo real y después hostearlo en algún servidor para conectarlo al chat de Mastermind, sí? Eso cómo se hace!?
Joder que buena informacion, con este video ya no me siento tan perdido en como implementar la I.a en el trabajo. Se puede como darle vida a un indice de biblioteca. genial
A muchos estudiantes de informatica de fp, les gustaría oír tu opinión sobre los mejores componentes para un ordenador de estudiante (qué el presupuesto no se dispare) para ejecutar tres máquinas de virtualbox al mismo tiempo a velocidad aceptable, un servidor: un cliente Windows 10 y otro. Liente linux, o un Windows server principal, un controlador de dominio auxiliar y un servidor linux conectado al servidor windows. También estaría muy bien escuchar tu opinión sobre que portátil podría ejecutar las maquinas virtuales anteriores, sin ir a la ruina. Enhorabuena por tu trabajo de divulgación.
w0w te veo super fino. Hace tiempo que no veo uno de tus videos pero veo que le estas dando fuerte a la alimentación y al gimnasio. O tal vez ese cambio físico lo has hecho por IA?🤔🤔 Buen video por cierto!
En 2017 Se Descubrió La " LUZ LIQUIDA " . 0 Fricción 0 Producción De Calor Uso Más Eficiente De La Energía Y Posibilidad De Hologramas Reales . ( Nada De Gases O Vapor U Oscuridad ) . IA Locamente Más Eficientes .
Hola Nate, videazo, me ha molado mucho, aunque creo que tienes un error de concepto, el embedding no es el espacio vectorial, es decir, no es el espacio latente, sino el vector en sí, la palabra o grupo de palabras convertidas en un vector
Estoy empezando a integrar un LLM para mi empresa conectándome con una base de datos SQL Server, esto me da mucha noción para comenzar con el desarrollo, aunque nosotros lo aremos con la Api de Azure Open AI
Excelente pero ya que la verdadera limitante para ejecutar IA en Local es la MEMORIA y no tanto los Flops de la GPU, la pregunta del millón es que tanta VRAM admiten portátiles como estos? Cual es su límite máximo 16, 32Gb porque el día que el común pueda encapsular un modelo como el Llama 405B en Local, allí sí que estamos hablando de un verdadero cerebro de IA, los modelos de 7 a 8B alucinan mucho, empiezan a mejorar a partir de los 40-50 billones de parámetros en adelante.
Nate, viendo tu video me interesó mucho probar algunos cursos de tu academia mastermid, soy estudiante de ingeniería en Informática y me resulta curioso poder reforzarme con tu material. Sin embargo, tengo un problema y es más de ubicación, pues yo soy de latino américa, específicamente chile y me causa curiosidad si tienes pensando en algún futuro expandirte para estos lados, estoy seguro que a muchos les interesaría.
😊 La verdad es con la IA se puede sacar muchas cosas, el problema es uno que no se le ocurre nada, incluso podrías incorporar clases sencillas donde incluso el estudiante practique, por ejemplo en Django como personalizar las páginas en base a plantillas. Hasta se puede hacer analizadores en base a varias primicias, juegos basados en la conversación. Me gustado lo del embbeding que haz usado en LLM.
Llevo todo lo que va de año desarrollando una aplicación LLM con OpenAI y un RAG específico para la empresa en la que trabajo. La aplicación es multiusuario y multichat (se pueden crear diversos chats con sus respectivos RAG) y este vídeo me ha parecido muy interesante. Como dice Nate, hay mucho más que se puede hacer y a medida que pase el tiempo y se vaya innovando, más se podrá hacer. Un concepto muy interesante es ¿cómo de preciso es mi modelo? Claro, no puedes hacer tests unitarios porque no sabes qué te va a contestar la IA de entrada, así que existen componentes de evaluación y, como si fuera un examen, te da una puntuación de la respuesta entre 0 y 1. Una librería muy famosa que hace esto es RAGAS. Podría extenderme más pero nadie va a leer este comentario así que de momento lo dejo aquí xD
Dale
Yo tambien intente hacer un RAG para una empresa que estuve de prácticas, utilizando primero n8n y luego pasando a flowise y experimentando con langflow, mis problemas fueron algunos de los que se mencionan en el video, por ejemplo, si le preguntas que te diga los presupuestos del año 2016 al 2019, el rag no sabe que tiene que consultar los años 2016, 2017 , 2018 y 2019. Con estas herramientas me senti un poco limitado y no puede hacer que funcionara bien, tu como has hecho el rag, con alguna plataforma de estas o programandolo con alguna libreria como LangChain?
Gracias!
@@djkaruyt Pensaba que como este canal suele tener un montón de comentarios, el mío quedaría enterrado y no lo vería nadie xD. Voy a intentar explayarme, ladrillo va. Si los presupuestos que mencionas tiene que calcularlos el LLM (lo ignoro) date por muerto porque al menos GPT es muy malo con los números. Esto es debido a que no utiliza lógica determinista si no probabilística (lo que menciona Nate con las distancias en las bases de datos vectoriales). Al final en esto, como en cualquier cosa relacionada con ciencia de datos, y esto al fin y al cabo lo es, lo que importa es la calidad de los datos y los metadatos frente a la cantidad. De nada vale meterle un montón de textos y PDFs si la mayoría es broza. Uno puede pensar que cuanto más datos le metas a una red neuronal mejor, pero no es tan así. Los datos deben ser trascendentes.
Mi aplicación era para una empresa del sector médico. Efectivamente, como dices la he desarrollado con django y langchain usando OpenAI y ChromaDB pero la idea es que esas opciones se puedan cambiar en el futuro, usando otros modelos y bases de datos. Como hay diversas dolencias, la idea es tener varios chats, cada uno especializado en una cosa (asma, artritis, etc). Para ello existen las guías medicas oficiales que están muy bien como inicio pero si se quiere cumplimentar más se tira por ejemplo de pubmed. Luego además nosotros ideamos una cosa que llamamos Q&A de refuerzo (preguntas y respuestas). Esto no es un invento nuestro, hay una aplicación para chats llamada chatbase que usa OpenAI que tiene esa opción. Q&A consiste básicamente en meter preguntas o consultas comunes sobre la dolencia o asunto y sus respuestas correctas. Esto evidentemente lo hace un equipo de médicos, no yo. Cómo sabes cuales son las preguntas más comunes? Bueno, aparte de las que puedas deducir tú, creas un log o historial en django con los registros de las conversaciones del chat y así puedes saber si hay alguna pregunta que se repite mucho y cuya respuesta pueda estar no del todo bien.
Este Q&A no se puede meter como embedding porque los embeddings se trocean y ocurre entonces que la BD no coge todo el registro si no, solo un trozo. O peor, si el registro es corto coge además un fragmento del siguiente registro. Al hacer esto, y lo tenemos comprobado, se medio inventa respuestas a pesar de que tenemos el parámetro temperature a 0. Entonces la solución es meter tú los registros en la chromaDB, no dejar que lo haga langchain. No es complicado, es solo bajar un nivel en el desarrollo y hacer las queries "a mano". Claro, esto implica que el prompt que se manda a GPT debe ser editado a mano también. De nuevo, no es un problema.
Aparte de esto, se puede meter memoria de conversación para que tu app "recuerde" el contexto. Esto no es más que registros en la BD de nuevo, de distinto tipo a las otras dos. Langchain se encarga de ir metiendo los registros de memoria. Este punto en mi app aun no está fino.
Lo que decía del RAGAS. RAGAS es una librería en Python (creo que en JS también existe) que "evalúa" preguntas y respuestas con una puntuación de 0 a 1 en base a ciertos parámetros (contexto, documentación, puntuación global...). Entonces, tú puedes meter un excel con n preguntas y ver los resultados. Esta es una tarea que puede tardar un rato en función del número de preguntas, así que sugiero meter Celery de por medio para que vaya en paraalelo. Si por ejemplo le pregunto "En qué franja de edad es adecuado aplicar la vacuna contra la rubeola", debo darle la respuesta correcta (me la invento porque no me la sé, la he buscado en Google) "A partir de los 12 meses de edad". Metes estas dos cosas en un fila de Excel con dos columnas "Pregunta" y "Respuesta", por ejemplo. Así con una muestra de preguntas que veas tú, como si fuera un examen. Esto se manda a GPT o al modelo de turno y después RAGAS evalúa y pone una puntuación, digamos 0.9. Entonces sabes que está bien. Si da 0 o NaN, ¡malooo!
@@djkaruyt Sigo en otro comentario porque tenía miedo de que petara la caja. Otra cosa a tener en cuenta es el treshold. El treshold es un número de nuevo entre 0 y 1 que digamos hace de barrera de entrada al RAG. Me explico. La consulta al RAG al fin y al cabo, como bien dice Nate en el vídeo, no es más que una búsqueda semántica. Esto es una distancia del coseno entre dos vectores: tu pregunta y la posible respuesta que haya en la BD. Una distancia del coseno entre dos vectores es algo muy habitual cuando se buscan cosas "relacionadas" o "parecidas". Si la distancia es 0, entonces es el mismo vector, es decir, ambos registros coinciden tal cual. Si la distancia es 1, entonces son diametralmente opuestos y se parecen lo que un huevo a una castaña. Ahora bien, como para el humano puede resultar contraintuitivo que 0 sea clavado y 1 sea totalmente distinto, se pone luego del revés. El 0 pasa a ser 1 y viceversa y así puedes verlo como un porcentaje. En resumen: que si al hacer una pregunta y consultar en tu BD vectorial, te devuelve un treshold de, digamos, 0.8 es que lo que preguntaste VS la respuesta que se ha recogido de la BD vectorial se "parecen" un 80%. Es decir, que podemos pensar que los datos que hemos sacado son pertinentes con nuestra consulta.
Salvo que le digas lo contrario, la base de datos vectorial siempre te va a dar un resultado, tenga este una relevancia de 0.8 como el ejmplo anterior o tenga una relevancia de 0.2. Queremos meter en nuestro prompt un dato que tiene una relevancia de solo un 20%? Bueno, eso depende de lo que quieras en tu modelo pero usualmente diría que no. Es aquí donde podemos limitar el treshold en la consulta. Decirle a nuestra app que si el resultado del RAG tiene un trashold menor a 0.5, por ejemplo, que ni se moleste en insertarlo en el prompt porque entendemos que es un dato de calidad mal. Espero haberme explicado.
Hay más desafíos que se pueden hacer y que me gustaría meter en mi trabajo en el futuro. Ejemplos:
- Bases de datos de grafos, como dice Nate.
- Traducción: esto es un desafío que tiene varias posibles soluciones. Imagínate en el caso de Nate, que ha metido todos los datos en castellano. Qué pasa si alguien pregunta en inglés. Ufff, no quiero enrollarme mucho más pero curiosamente ChromaDB responde bastante bien a preguntas de según qué idiomas dando la referencia EN ESPAÑOL correctamente si tienes treshold bajo. Es decir, si le pregunto sobre la malaria en alemán, casi siempre el RAG devuelve el fragmento de la información sobre la malaria de manera correcta. Pero claro, el prompt irá en español en parte, cómo responderá GPT? En español o en alemán? Hay formas de solventar esto pero ya bastante me estoy enrollando.
- Conseguir info en el RAG con imágenes. Se puede, pondría un enlace a un artículo que lo explica pero no sé si se permite meter enlaces en este canal.
@@koz159 Tienes la respuesta un poco más abajo, jefe. Siento la extensión pero esto tiene más detalles de lo que parece.
A pesar de haber tenido qué dejar la carrera de ingeniería en software por problemas externos, tener este tipo de vídeos tan informativos me anima a no abandonar ese aprendizaje y quedar totalmente obsoleto. Gracias, Nate, por regresarme el amor por la tecnología que poco a poco iba perdiendo.
Siempre estuvo a tu lado, nunca te abandonó. Tú lo conseguiste solo. Dar las gracias está sobrevalorado.
¿quién dice que sólo en la universidad te haces ingeniero? Hay un montón de caminos hacia la misma meta 😉
Campeón, no te rindas. Retoma la carrera y ve de a poco. No tienes que hacer todo junto, una materia o dos a la vez❤
Podrías explicarme porfavor más o menos de que va la ingeniería en software, al menos lo que sepas. Sería una gran ayuda porque en un futuro tengo pensado hacerla. Crack👍
@@Iván-y5z7g claro que sí, hermano, yo estudié en México, no sé si haya alguna diferencia con otros países, pero aquí es un puesto que se deriva en: desarrollo de software con programación, documentación y planeación, funcionamiento óptimo de equipos que trabajen en el área, así también depuración y optimización de código. Todas estas habilidades las puedes llevar a cualquier área de la tecnología como programación de hardware, fabricación del mismo, bases de datos, videojuegos, inteligencia artificial, mantenimiento de software, programación de páginas web, etcétera etcétera etcétera. De verdad es muuuuy amplio si lo estás dudando, la verdad te lo recomiendo muchísimo, es una carrera que vale totalmente la pena. Mucha suerte!
"entender cómo funcionan las cosas es uno de los grandes placeres de la vida" Nunca me sentí más identificado
X2
Finalmente, podré tener al clip de Windows como mi amigo 24/7
xd
El asistente demente de 8B, está bien pero cuando se pueda ejecutar un modelo de entre 100 y 236B en Local como el Deepseek o mejor el 405B ahí sí que hablaremos de un Asistente poderoso.
Hola Nate! Soy Game Economy Designer, algunos amigos mios trabajaron en Asphalt 9! Sigo tu canal desde hace muchos años y me parece necesario resaltar la excelencia en la calidad del trabajo. Es increíble la combinación entre información, entretenimiento, calidad de producción, estrategias de marketing y estrategias de negocios todo integrado en una entrega audiovisual. Saludos desde Argentina 💪🏻
Enhorabuena Nate y equipo. Como docente, tengo que aplaudir tu capacidad didáctica. Este video es un ejercicio de docencia brutal. Muchas gracias por este material.
La IA ha cambiado mi vida. Me la paso automatizando cosas y aprenderlo me ha dado excelentes oportunidades. Yo considero que aprender sobre inteligencia artificial es importante para prepararse para el futuro, no necesariamente para desarrollar apps con IA sino porque muy probablemente tu trabajo va a migrar a un esquema que use IA.
Por cierto, en mi trabajo ahorro muchas horas simplemente por usar IAs.
Comparte links de tutoriales y/o información sobre las herramientas que usas... Te lo agradecería mucho ✌️. Saludos.
Nichonauta
Las IAs no van a remplazar a los letrados en cuanto a administracion de informacion digital en la mayoria de niveles, pero al final seran los usuarios como tu quienes van a prevalecer porque sinceramente es asi tal cual las IAs, son nuevas herramientras que se deben entender y comprender para sacarles el maximo provecho en cuanto a la creación de algoritmos variados, o en otras palabras
Te volveras el tecnico de una IAs, en el mejor te mantendran el sueldo (en relacion al paso del tiempo) o simple y llanamente la industria te consumira y te pagaran 1/4 menos que antes, pero con la inflacion y la extrema competencia digna de la india, ni lo notaran
Si tu trabajo puede migrar a un "esquema que use IA", eres totalmente reemplazable.
Qué locura de video, mucha gracias por compartir todo este proceso Nate
Es hermoso ver como el canal cambio mas a cosas asi, me encanto el contenido ojala vengan mas cosas de este tipo.
Gracias parcero.
el video tiene un minuto de subido........ y hay quienescomentan que el video esta excelente y dura 41 minutos jajajajajajajajajajajajajajaja LA LOCURA
🧙♂️Magic 🪄🪄
la IA les hizo un resumen de 30 segundos
Reptilianos
Es gente que está a otro nivel de conciencia, no lograríamos entenderlos
El pana cree que la hora que le aparece a el publicado es la hora definitiva en todo el mundo jajajaua
He pasado media vida soñando en una aplicación a la que pueda preguntarle cualquier cosa que tenga guardada en mis documentos personales, y me de la respuesta que necesito. Tras ver el video de forma casual, lo he vuelto a ver con libreta y boli para anotar todas las herramientas que has probado. Soy ingeniero informatico, espero sacarle partido a toda esta información. Gracias por el video, menudas curradas te pegas con la edición.
8gb de vram no es aconsejable para machine learning. Mínimo 16gb vram. Por eso existe la incomprendida 4060ti con 16gb vram. Nunca fue una tarjeta para gaming, sino una gran ayuda para los interesados en machine learning que cuentan con un presupuesto más ajustado.
Hace ya un mes, o quizá más, utilizo Llama 8B en mi PC como RAG desde Pinokio. Le he insertado papers, documentos en pdf, libros enteros...la verdad el trabajo lo hace bastante bien, no es como el ChatGPT de pago, que su nivel es altísimo pero, hoy 2024, que podamos hacer esto en nuestros PC es impresionante. Hoy no veo mi presente sin las IA como acompañante en el día a día de mi profesion
Mas detalles por fabor
Y como puedo hacer lo mismo
🙏🥺
me gusta que te renueves con este tipo de videos, sigue aprendiendo y enseñando que se te da muy bien explicar.
Que gran video. Solamente un aporte Nate, no es "cuantificación", es "cuantización", que es el proceso en el cual un rango continuo de valores se divide en un número finito de niveles discretos.
(edit) está bien es cuantizacion... pero van de un valor discreto de n bits a otro discreto de m bits. Nada de valores continuos, eso se ve en la cuantificación de señales continuas a discretas
Es cuantización, lo que pasa que Nate ha explicado el concepto mal, no pasamos de valores continuos a discretos, sino de valores continuos a valores continuos con menor precisión en bits
Nate debería tener un canal de informática en todas las plataformas
Nate soy contador realmente mi carrera no va muy de la mano con la programación o ingenieria de sistemas pero ver tus videos me envuelve y me genera mas intriga y algo que me sorprende es que mi conocimiento sobre sistemas es muy básico y aun así te entiendo, muchas gracias- Saludos desde Colombia
Estaría muy bueno una segunda parte explicando como se conecta esto con una api web y se sube a la nube para que los usuarios puedan hablar con el chat bot 👌
ES MUY MUY BUENO EL VIDEO, GRACIAS por explicar algo tan novedoso y complejo que nos abre las puertas a nuevas oportunidades!!!
Ojo muchos creerán que eso es como "soplar y hacer botellas" con el video explicativo pero eso va más allá y el desarrollo de RAG sin ser de otro mundo requiere de conocimientos previos en IA y data science, así como la estructuración del proyecto, fijaros que Nate mismo se sorprende que no ha sido fácil y él tiene amplios conocimientos informáticos; a lo que voy es que requiere dedicación y tiempo para no desfallecer en el intento por lo abrumador del tema a pesar de que hay disponible herramientas que "facilitan" el proceso. Gracias Nate por presentar la IA como abrebocas de este amplio panorama que apenas comienza a tomar forma!
Muy interesante! Me comí casi los 41 minutos que dura este vídeo, pero estoy asombrado cómo avanza el futuro de la IA.
Esta genial el video muy bueno saber todo lo q está detrás de eso, por cierto, se te olvido poner la utilidad con interfaz del traductor...
Gracias por el excelente video, voy a profundizar mas dado que soy ingeniero en sistemas con maestria en ciberseguridad, y quiero empezar a crear proyectos propios de IA con enfoque en ciberseguridad. Muchas gracias
Yo me he montado lo mejor del mundo para mis clases con las IAS he conseguido todo en local que el audio de todas mis clases se transcriba y que luego otra me las resuma y me de datos claves de dudas que yo tenga sobre esos documentos. Increíble lo útil que puede ser una IA si sabes curártela un poco.
Para clases que tu impartes o que a ti te Dan y las grabas?
@@grilloazul1936 que me dan. Mantengo un orden en todo el proceso y tengo todas mis clases en archivos resumidas etc por si necesito en algún momento mirar cualquier cosa o incluso preguntar alguna duda sobre alguna clase.
Puedes pasar las IAs o tu mismo las entrenaste?
@@Unay.inv1 lo he planteado con modelos open source. Para entrenar tú mismo un modelo de 0 se necesita de una estructura y un nivel de datos con los que entrenarla bastante tocha si quieres buenos resultados. Los modelos que uso son: para transcribir uso a whisper de open AI y para resumir dichos archivos transcritos uso a llama 3.1 con una adaptación, que hay bastantes que te permiten pasarle archivos y cargarlos en su “memoria” como bien explica Nate en su vídeo. Hay algunos tutoriales en RUclips sobre hacer esto pero tengo que decir que la gran mayoría están incompletos y falta alguna herramienta que al informarte un poco acabas sabiendo que necesitas para esto mismo. Pero te invito a explorar un poco todo esto. Busca whisper en local y hay tutoriales. Te recomiendo los que están subidos de habla inglesa ( suelen ser más completos ) y luego buscar un poco e informarse y saber de la cmd leyendo lo que te pide a cada momento bien porque como te digo están casi siempre incompletos los vídeos. Al menos los que vi yo. Te deseo suerte pero no es tan complicado de hacer realmente.
@@Eltitosamme interesaría saber con cual IA resumes las clases😊
Nate: Voy a poner los videos a 4k
Yo: 480p es ultra detallado
Con 144p va excelente 👌 😉
Este es sin duda uno de los mejores videos sobre IA que he visto.
Tremendo vídeo. Me encantaría una lista de videos tuyos enseñando inteligencia artificial. He comprendido bien los conceptos y los motivos de los mismos en este video pero naturalmente no a cómo hacerlo. ¿la bases de datos son no-relacionales de esas usadas en Big-Data?
Justo estaba empezando a meterme en este tema y RUclips me recomienda este video, como siempre Nate, explicando lo complicado en algo sencillo y entendible para todos, gracias por esta informacion introductaria, me va a ser de mucha ayuda en futuros proyectos.
buenisimo!! estoy siguiendo tus consejos y he empezado un canal de psicología y crecimiento personal con IA. Deseadme suerte!!😊
Gracias por compartir tu experiencia con la IA. Me has dado muchas ideas para mejorar mis propios proyectos.
Es increíble la habilidad para conceptualizar en palabras simples e imágenes, toma tu like as always Nate, gracias
Todo este tema de la inteligencia artificial me parece bastante complejo pero a la vez super interesante, cien por cien voy a indagar un poco más y aprender al respecto. Se me hizo corto el video Nate, muchas gracias por compartir tu conocimiento, se aprecia bastante 😌😁
Brutal vídeo. Hasta la fecha el más revelador sobre LLM e IA
Impresionante el vídeo!!! Me ha encantado como explicas y como lo complementas con los ejemplos visuales que hace que se entienda a la perfección. Por primera vez he entendido que es el RAG!!! Mil gracias!!! Eres un crack!!! Bueno tú con todos el equipo. Bravo de verdad!!!!
Nate Gentile, Compartiéndonos sus Herramientas... La vida junto a sus personas te lo pagaran muy grandeeee! Gracias a ti implemente algunas herramientas en un canal que estoy comenzando; espero conseguir el éxito para devolvértelo de alguna manera
Nate, muchas gracias por explicar todo en detalles. Mi trabajo en ingeniería, pero me interesaba mucho tener un video así.
WOOOW me chuté todo el video enterito, y eso que solo iba a estar un ratito, pero vaya que lo haces muy ameno y entendible y me gustan mucho esos micro repasos de conceptos o procesos que vas explicando a lo largo del video. Ya me suscribí y like seguro vendré por más.
Ya me estaba preguntando cuando crearias una IA, digo con todo lo que sacas en tus videos ya era de esperarse
Acabo de tener un flashback de tus videos de hace la tira haciendo reviews de ratones y teclados, y vaya como has cambiado tanto tu como persona como el nivelazo audiovisual y todo el equipo de trabajo que has montado a tu alrededor con los años, si tu o alguien de tu equipo llega a leer esto que sepan que están haciendo las cosas no solo bien sino increíble, sigan así 💪💪
Una pasada de vídeo Nate!!! Como aporte (no sé si lo has probado ya), dentro de AnythingLLM puedes elegir Scrapear tu web y así resolver preguntas como coster de cursos y demás....
Hey Nate espero que todo marche bien. Te tengo una propuesta interesante que es posible que te guste. Estoy seguro que te resultará en una reto agradable. Soy fan del canal desde hace un tiempo y me parece muy profesional todo el trabajo que realizan. Me gusta los usos que le das a la IA y los videos de este tema son una pasada. Actualmente tengo un setup full AMD con un 5950X y una RX 6800 XT. Me preguntaba si podrías hacer algún video tratando el tema de la IA con tecnología de AMD. Se que están atrazados en este aspecto y que que Nvidia lidera el mercado, pero no concibo que no se pueda hacer nada con un hardware tan potente a día de hoy. Me gustaría que nos actualizaras a aquellos que tenemos AMD sobre que se puede hacer, porque se que hay algunas cositas por ahí.... Me gustaría que hicieras algo de IA con alguna librería que funcione con este tipo de hardware. Un saludo.
🤯 graacias
Muy buena la idea de los grafos para la base de datos.
Muy chulo todo lo que hizo Antes en el vídeo.
Solo que LMStudio se actualizo hace unos días y ya integró el RAG a la app jsjsjs.
Muy bien video Nate la verdad la IA y desarrollo avanzan super rápido al punto de que nos atrasamos.
Estoy ansioso de que hagas la continuación de este video. Ojalá algún día vea la luz 😅
Excelente Nate, he estado trabajando en RAGs sencillos para pequeñas empresas. En mi caso aún estoy trabajando mucho en el manejo de versiones, es un poco complejo cuando la información cambia en el tiempo.
¡Este video es una joya Nate! Yo quiero replicar éste mismo proceso pero en un escenario diferente. En el pelicula "The Arrival" 2016 del director Denis Villeneuve, los heptápodos comienzan a compartir miles y miles de imagenes para iniciar una comunicación. Considerando un escenario así, que otras herramientas podrías integrar y utilizar en éste mismo proceso, para crear algo parecido con una base de datos pero de imagenes y simbolos. Ojalá alguno esté interesado en el tema, y conozca proyectos que ya estan en desarrollo; y alcanzables para replicar como el de Nate. ¡Saludos!
Qué gran vídeo!
Qué bien explicado. 🎯
Como curiosidad, comentar que con Whisper se puede exportar directamente los subtítulos en TXT con --output_format txt.
Por otro lado, algo que también funciona bastante bien y que no conoce todo el mundo es el --initial_prompt, que es una especie de contexto que le das a Whisper para que haga una mejor transcripción.
Por ejemplo, en este caso se le podría pasar como parámetro algo así:
--initial_prompt Esto es la transcripción de un vídeo de RUclips de Nate Gentile hablando sobre Inteligencia Artificial, Chatbots, LLM, RAG, etc.
"Entender como funcionan las cosas, es uno de los grandes placeres de la vida".. MUY BUENA ESA FRASE. Saludos desde ARGENTINA.-
Me encanta como me fume el video entero cuando tengo una potato pc, no le se ni cambiar las ram, y tarde como 3 días en instalar un mod a minecraft...
ya extrañaba estos video 🤤
Muy buena explicación, voy a ver el otro video de ChatGPT para entender más sobre la IA
Hola Nate, te quiero agredecer. Llevo un tiempo buscando información sobre este tema y tu video me parecio espectacular y una gran forma de tener una base de conceptos junto a modelos y herramientas utiles para experimentar. Muchas gracias 👏
Pedazo de video, muy buen contenido Nate!
Justo cuando tengo un proyecto De sistema expertos y RAG sale éste vídeo, excelente nate gracias
Muy buen contenido Nate! 👏👏👏
Gran video, aprendí mucho, gracias por realizarlo 🎉
Excelente! Hice lo mismo utilizando la API de OpenAI en Azure y programando un soft en C# que combina todas esas técnicas mostradas en el video. Felicitaciones. Más videos de AI !
qué gran video te sacaste Nate! Ahora luego de empiezo a verlo
Lo ideal sería poder "comprimir" esos "documentos" que tiene que leer, para que lea más rápido sin perder información. Y luego sería interesante emplear dos modelos al mismo tiempo. Ya que así podrías ampliar ese multiverso. En vez de usar la VRAM de la gráfica todo el tiempo, podrías simular tú VRAM. Quizás este proceso fuese más lento, pero como hemos comprimido la información inicial de base, compensaremos el uso de una VRAM ficticia. La combinación de dos modelos con diferente potencia, podría ayudar a elaborar respuestas más depuradas y a filtrarlas. Una de esos modelos podría estar entrenado de base y el otro lo entrenas en específico. De ese modo tendrías que no hay problema de "olvido". Ahora bien, el modelo no generalista no necesita recordar el entrenamiento anterior, solamente lo que tú le quieras hacer que haga. Y para el resto, el modelo más generalista puede acudir a la llamada del específico.
Es una idea loca, y no sé si se puede llegar a conseguir o si es factible, pero si funciona, oye, es un puntazo.
Buen video! Consejo para los RUclipsrs, no tengan miedo de poderse un poco técnicos si se requiere, estoy seguro que habemos muchos en la comunidad que sabemos del tema y se los agradeceríamos
muy buen video explicativo, me has dado un empuje mirar mas de cerca el tema AI, gracias 👌🏽
me rompiste la cabeza nate, super buen video!
Ya extrañaba los videos mas didácticos que este canal solía ofrecer mas a menudo hace años...
Yo creo que la gran mayoría de los ultimos son didacticos, echales un ojo
@@NateGentile7 tienes razón, RUclips me mostraba más los videos del otro canal… (me refiero al de Nate live)
Excelente explicación como siempre 💪
Excelente contenido! Gracias, me resultó muy clarificador y me dan ganas de arrancar a jugar con estos sistemas
Buenisimo el contenido, ya comienzo a seguirte
Gracias Nate por tus videos nos motiva mucho mas aquellos que nos apasiona todo lo que es la tecnologia
Nate has rejuvenecido! 🤯
Es el Nate IA :v
Yo lo veo más demacrado, parece como de 50
La fiebre del ozempic seguramente
Creo que siguio los consejos de dr frank suarez 😂
Al igual que todos los videos que has hecho en esta serie sobre IA, este ha sido muy educativo y entretenido. Me ha gustado mucho y me ayuda para el proyecto de grado que estoy haciendo. Vi en uno de los artículos que he revisado el concepto de tutor, utilizar estos programas o modelos de IA que trabajan con procesamiento del lenguaje natural para construir tutores o asistentes de estudio, por lo que lo que hiciste en ese video resonó mucho con lo que he estado leyendo recientemente. Saludos desde Colombia.
Nate probaste con Azure IA Studio, con Microsoft haces el RAG muy automático y la precisión del embeding es muy buena.
Milagro!!! Genial video! Pensé que ya era solo de cómo suenan los teclados o el peso del mouse
Tremendo vídeo Nate, con conceptos complejos pero entendibles por un público menos técnico.
El problema que veo muchas veces de las AI hoy en día es cuando se ponen creativas, pero eso se puede controlar, pero para eso tenemos que tener cierto nivel para montarlo y configurarlo, pero si muchos pueden, más allá del nivel de la personas, es la capacidad de cobro uar configurarlo y aprendiendo de las IA y ellas de uno, para poder hacerlo
Está muy interesante, tío Nate! Me imagino que vas asacar una segunda parte haciendo los ajustes de parámetros para respuestas en tiempo real y después hostearlo en algún servidor para conectarlo al chat de Mastermind, sí? Eso cómo se hace!?
Joder que buena informacion, con este video ya no me siento tan perdido en como implementar la I.a en el trabajo. Se puede como darle vida a un indice de biblioteca. genial
A muchos estudiantes de informatica de fp, les gustaría oír tu opinión sobre los mejores componentes para un ordenador de estudiante (qué el presupuesto no se dispare) para ejecutar tres máquinas de virtualbox al mismo tiempo a velocidad aceptable, un servidor: un cliente Windows 10 y otro. Liente linux, o un Windows server principal, un controlador de dominio auxiliar y un servidor linux conectado al servidor windows.
También estaría muy bien escuchar tu opinión sobre que portátil podría ejecutar las maquinas virtuales anteriores, sin ir a la ruina.
Enhorabuena por tu trabajo de divulgación.
Nate en realidad murió hace tiempo, ahora es una IA la que lleva su canal, thoughts? 😊
Eso explica por qué ahora está mas flaco. Nadie adelgaza tan rápido.
Es nate del video es un modelo la IA lo hizo más "flaco" no toda IA es perfecta, pero si es realista @@eloyfarina
Nate no murió evolucionó, ahora le queda más tiempo para dedicarlo a otras cosas🤖
Que estupidez
@@Atreas1845HAy yutuber que hacen eso para ahorrarse tiempo, solo que avisan que es en realidad una IA la que habla aunque se vea igual al yutuber
w0w te veo super fino. Hace tiempo que no veo uno de tus videos pero veo que le estas dando fuerte a la alimentación y al gimnasio. O tal vez ese cambio físico lo has hecho por IA?🤔🤔 Buen video por cierto!
En 2017 Se Descubrió La " LUZ LIQUIDA " . 0 Fricción 0 Producción De Calor Uso Más Eficiente De La Energía Y Posibilidad De Hologramas Reales . ( Nada De Gases O Vapor U Oscuridad ) . IA Locamente Más Eficientes .
Pedazo de video, y felicidades por los cursos, me inscribí hace menos de un mes y estoy fascinada ❤❤ saludos 🇨🇱🥶
Hola Nate, videazo, me ha molado mucho, aunque creo que tienes un error de concepto, el embedding no es el espacio vectorial, es decir, no es el espacio latente, sino el vector en sí, la palabra o grupo de palabras convertidas en un vector
pues realmente me parece un contenido muy interesante, muchas gracias Nate por compartir conocimiento de este modo.
saludos desde Perú.
Felicidades chicos!!
Y el link de Whisper y de Speech Translate?
PD.- BUEN VIDEO NATE, CADA VEZ MEJOR!! ESOOO!!
Un muy buen resumen. Tenía dudas sobre el tamaño de los modelos y cuál bajar, pero vamos que hemos acabado usando los mismos.
Estoy empezando a integrar un LLM para mi empresa conectándome con una base de datos SQL Server, esto me da mucha noción para comenzar con el desarrollo, aunque nosotros lo aremos con la Api de Azure Open AI
Sería genial que montaran un pc para IA con mas de una gráfica, algo como lo que tiene dotcsv
Viendo toda la publicidad posible para que ganas más con este pedazo de video
Excelente pero ya que la verdadera limitante para ejecutar IA en Local es la MEMORIA y no tanto los Flops de la GPU, la pregunta del millón es que tanta VRAM admiten portátiles como estos? Cual es su límite máximo 16, 32Gb porque el día que el común pueda encapsular un modelo como el Llama 405B en Local, allí sí que estamos hablando de un verdadero cerebro de IA, los modelos de 7 a 8B alucinan mucho, empiezan a mejorar a partir de los 40-50 billones de parámetros en adelante.
Quien es este nate, quiero al Nate gordito de nuevo
Nate, viendo tu video me interesó mucho probar algunos cursos de tu academia mastermid, soy estudiante de ingeniería en Informática y me resulta curioso poder reforzarme con tu material. Sin embargo, tengo un problema y es más de ubicación, pues yo soy de latino américa, específicamente chile y me causa curiosidad si tienes pensando en algún futuro expandirte para estos lados, estoy seguro que a muchos les interesaría.
Muy buen video, tambien para los que quereis manteneros dentro de un entorno libre podeis utilizar jan en vez de LM studio :)
Tremendo video como siempre.
Rebien... Cual es la utilidad (para download) de speech translate ?
😊 La verdad es con la IA se puede sacar muchas cosas, el problema es uno que no se le ocurre nada, incluso podrías incorporar clases sencillas donde incluso el estudiante practique, por ejemplo en Django como personalizar las páginas en base a plantillas. Hasta se puede hacer analizadores en base a varias primicias, juegos basados en la conversación. Me gustado lo del embbeding que haz usado en LLM.
Últimamente el canal de nate es un AD dentro de un AD.
Supongo que es lo que con lleva crecer, pero se extrañan esos videos de nicho
Exelente video nate 😍
Muy buen video sobre todo la importancia de la preparacion de los datos.
15:24 dice Tennif en lugar de Tennis xd
Nate, podrías recomendarme por donde profundizar sobre este tema, que como bien dices, tiene mucho potencial!!!