Hola! Si es que ese tema lo quiero meter específicamente en un video. Pensé que meter el concepto de bases de datos vectoriales en este videos podria llegar a generar confusión en algunas personas. Pero sin duda hare video mencionándolo!
Felicidades por esta serie de videos y la calidad y claridad de tus explicaciones! ¿Podrías incluir en esta serie de videos desarrollos con Langchain y modelos open source tipo Falcon, etc.? Muchas gracias!
Están increibles tus vídeos, he visto todo lo que has hecho relcionado con OpenAI, Crees que en algún momento puedas tocar el tema de algunas herramientas open source (HuggingFace) que se acerquen a las funcionalidades de que tiene OpenAI?
Hola, gracias por compartir. Dado que ChatGPT, el que usamos oficial via web, si mantiene memoria de cada conversacion, ¿cual de estos métodos usa para mantener el contexto en cada chat?. A mi particularmente me parece mas razonable el de resumen, pero el contexto o memoria es una caracteristica muy importante para un asistente virtual, ¿hay alguna buena práctica o método dominante para este propósito?
¡Muy buen vídeo! Aunque LangChain proporcione esta capa de "memoria", ¿tendría sentido usarla si necesito que recuerde solo la conversación de la semana pasada por ejemplo? Esto es para implementar un chatbot con ChatGPT
Muy buen video, creo que está muy bien explicado. Aunque no me quedó claro qué pasa con la ventana de contexto si se utiliza el primer método (en el que se guarda todo en el historial). ¿En la medida que el historial crece, se gastan los 4.000 tokens de ventana de contexto?¿Deja de funcionar al superar el rate limit? porque me imagino que esto se puede evitar fijando un k como en el segundo método (si solo guardo 3 o 4 mensajes, la ventana de contexto se va liberando, evitando llegar al limite), pero qué pasa cuando guardo el historial completo?. Otra cosa que me generó dudas es que cuando se usa el método del resumen (el tercero) ¿se hace sobre los imputs que ya se fueron resumiendo?¿o el resumen se hace sobre el historial completo (con todos los mensaje completos y sin resumir)?. De nuevo, buena explicación y gracias por tu trabajo.
El resumen se hace sobre los inputs y los resumenes ya hechos. Sobre la ventana de contexto, cuando el historico sobrepasa los 4mil tokens va a dejar de funcionar, por eso el modo de mantener una ventana del historico es el que mas recomendaria entre esos dos (el de historico completo o el de la ventana del historico)
hola Alex. Me encantó tu video y es un tema super relevante. No se si sea del caso he escuchado que se puede almacenar los embedding en bases de datos externas o los grafos en NEO4J. Genial otro video reforzando el tema. Mil gracias
Hola, gracias por el video, quisiera saber si exploraras el modelo falcón 9b o 40, pues veo que con esa licencia se puede usar plenamente! De antemano, gracias!
Tengo un error cuando ingreso el código "llm = ChatOpenAI(stop=" Human") memoria = ConversationKGMemory(llm=llm) chatbot_kgm = ConversationChain(llm=llm, memory=memoria, verbose=True)" Me entrega el siguiente warning -> "WARNING! stop is not default parameter. stop was transferred to model_kwargs. Please confirm that stop is what you intended." He actualizado la librería y no se que hacer D:
al principio hay algo que no entendi muy bien al momento que dijiste de los problemas , la memoria en si va con el tamaño por la cantidad de token o usando esta funcionalidad de la librería langchain no me da limites para el tamaño del historial?
No sería mas eficiente hacer un embedings de toda la conversación y que se agregue al contexto del prompt actual como en los programas de chatear con pdfs? Por cierto muy buen video.
A mi me crea una duda, si estoy enviando vía api, la tarificación es por token, no? Osea que si continuamente le meto al promt todo el historial, estaré incrementando el coste a lo bestia. Podrías comentar esta parte? Ya que no es lo mismo pagar la suscripción a 20 dólares, que pagar por token y tener excesos, si?
Si, el usar memoria en estos modelos incrementa el costo pues estas enviando cada vez mas tokens. Esto es distinto a la suscripcion de 20 dolares que mencionas ya que esa suscripcion es para poder usar chatgpt en su mejor version (con GPT4), pero esta API que menciono es para poder integrar todos los modelos que tienen a tu código (a diferencia de tener que utilizar su interfaz gráfica para poderlo utilizar) Saludos!
como podiera hacer para que el mismo modela sea autoadministable con las tareas que debe hacer , con respecto al rol de personalizacion que le doy , que me recomiendas?
Echale un ojo a AutoGPT, este tipo de implementaciones todavia tienen sus fallas (y se han inflado mucho las expectativas de estos) pero para algunas tareas un poco básicas pueden funcionar. Al igual que hacer agentes con Langchain, justo en este momento estaba creando el archivo para empezar a planear ese video! jajaja
Si, se puede almacenar el historico en una variable y hacer un pickle file. Despues ese file lo cargas y por default ya tendrá el historial de las conversaciones pasadas.
La que mas he usado yo es la segunda con la ventana. Esa es muy buena solución para la mayoría de los casos. La que genera los resumenes te funciona si sabes que las interacciones que tendrás con tu chatbot rápido van a exceder el limite de tokens que tenga el modelo.
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](/img/1.gif)
Vas super bien con la explicacion y el contenido... brutal la intro!! esperando la siguiente entrega
Muchas gracias! Quise jugar un rato y ponerme creativo con la intro, gracias por el comentario:)
Muy bien explicado, Excelente video.
Ole y ole , que bueno
Increible la serie de videos, Estoy a la espera de ver temas restantes
un saludo
Excelente video como siempre, deberías continuar este mismo y colocar lo en producción
Muy buena idea!
Excelente información
Muchas gracias por el comentario!
Muy bien explicado Alex!
Gracias por el vídeo
Excelente video
Otro video interesante y útil, gracias ‼️
Que capo!!
muy útiles tus videos, gracias
Hola ola! Muy buen inicio el de la malla de respaldo de la silla, primero pensé que era un efecto de edición :D :D :D
Ahora poner atención al video ;)
Muchas gracias! Esa toma me tomó mas intentos de lo que be gustaría admitir jajaja
@@AMPTech 🤣👌👏👏👏👏🤘
Hola, muy buen video! Solamente creo que te faltó hablar de la Vector store-backed memory
Hola! Si es que ese tema lo quiero meter específicamente en un video. Pensé que meter el concepto de bases de datos vectoriales en este videos podria llegar a generar confusión en algunas personas. Pero sin duda hare video mencionándolo!
@@AMPTech Lo esperamos con ansias :)
Felicidades por esta serie de videos y la calidad y claridad de tus explicaciones! ¿Podrías incluir en esta serie de videos desarrollos con Langchain y modelos open source tipo Falcon, etc.? Muchas gracias!
Excelente video. Sería excelente hacer algo sobre Llama Index (GPT Index).
Hola, podrías hacer un video instalando el controlador para un ventilador en la jetson nano?... Gracias 😊
Están increibles tus vídeos, he visto todo lo que has hecho relcionado con OpenAI, Crees que en algún momento puedas tocar el tema de algunas herramientas open source (HuggingFace) que se acerquen a las funcionalidades de que tiene OpenAI?
Una pregunta Alex: porque usas como parametro, cuando instancias el modelo LLM, stop: "
Human"? Gracias!
Hola, gracias por compartir. Dado que ChatGPT, el que usamos oficial via web, si mantiene memoria de cada conversacion, ¿cual de estos métodos usa para mantener el contexto en cada chat?. A mi particularmente me parece mas razonable el de resumen, pero el contexto o memoria es una caracteristica muy importante para un asistente virtual, ¿hay alguna buena práctica o método dominante para este propósito?
¡Muy buen vídeo!
Aunque LangChain proporcione esta capa de "memoria", ¿tendría sentido usarla si necesito que recuerde solo la conversación de la semana pasada por ejemplo? Esto es para implementar un chatbot con ChatGPT
Muy buen video, creo que está muy bien explicado. Aunque no me quedó claro qué pasa con la ventana de contexto si se utiliza el primer método (en el que se guarda todo en el historial). ¿En la medida que el historial crece, se gastan los 4.000 tokens de ventana de contexto?¿Deja de funcionar al superar el rate limit? porque me imagino que esto se puede evitar fijando un k como en el segundo método (si solo guardo 3 o 4 mensajes, la ventana de contexto se va liberando, evitando llegar al limite), pero qué pasa cuando guardo el historial completo?. Otra cosa que me generó dudas es que cuando se usa el método del resumen (el tercero) ¿se hace sobre los imputs que ya se fueron resumiendo?¿o el resumen se hace sobre el historial completo (con todos los mensaje completos y sin resumir)?. De nuevo, buena explicación y gracias por tu trabajo.
El resumen se hace sobre los inputs y los resumenes ya hechos. Sobre la ventana de contexto, cuando el historico sobrepasa los 4mil tokens va a dejar de funcionar, por eso el modo de mantener una ventana del historico es el que mas recomendaria entre esos dos (el de historico completo o el de la ventana del historico)
@@AMPTech Muchas gracias :)
hola Alex. Me encantó tu video y es un tema super relevante. No se si sea del caso he escuchado que se puede almacenar los embedding en bases de datos externas o los grafos en NEO4J. Genial otro video reforzando el tema. Mil gracias
Hola, gracias por el video, quisiera saber si exploraras el modelo falcón 9b o 40, pues veo que con esa licencia se puede usar plenamente! De antemano, gracias!
Hola, al ser parte de LangChain, esto debería funcionar de igual forma para modelos locales como Ollama?
Tengo un error cuando ingreso el código
"llm = ChatOpenAI(stop="
Human")
memoria = ConversationKGMemory(llm=llm)
chatbot_kgm = ConversationChain(llm=llm, memory=memoria, verbose=True)" Me entrega el siguiente warning -> "WARNING! stop is not default parameter.
stop was transferred to model_kwargs.
Please confirm that stop is what you intended."
He actualizado la librería y no se que hacer D:
La memoria se puede implementar usando tanto GPT 4 como en 3.5 turbo?
al principio hay algo que no entendi muy bien al momento que dijiste de los problemas , la memoria en si va con el tamaño por la cantidad de token o usando esta funcionalidad de la librería langchain no me da limites para el tamaño del historial?
langchain guarda todo el historico, pero el limite de tokens del modelo como tal sigue siendo el mismo.
Se pueden implementar varios tipos de memoria a la vez?
No sería mas eficiente hacer un embedings de toda la conversación y que se agregue al contexto del prompt actual como en los programas de chatear con pdfs? Por cierto muy buen video.
Ese es otro tipo de memoria que tocare en otro video. En el que justo haces retrieval de los embeddings y después lo procesas con un llm.
A mi me crea una duda, si estoy enviando vía api, la tarificación es por token, no? Osea que si continuamente le meto al promt todo el historial, estaré incrementando el coste a lo bestia. Podrías comentar esta parte? Ya que no es lo mismo pagar la suscripción a 20 dólares, que pagar por token y tener excesos, si?
Si, el usar memoria en estos modelos incrementa el costo pues estas enviando cada vez mas tokens. Esto es distinto a la suscripcion de 20 dolares que mencionas ya que esa suscripcion es para poder usar chatgpt en su mejor version (con GPT4), pero esta API que menciono es para poder integrar todos los modelos que tienen a tu código (a diferencia de tener que utilizar su interfaz gráfica para poderlo utilizar)
Saludos!
como podiera hacer para que el mismo modela sea autoadministable con las tareas que debe hacer , con respecto al rol de personalizacion que le doy , que me recomiendas?
Echale un ojo a AutoGPT, este tipo de implementaciones todavia tienen sus fallas (y se han inflado mucho las expectativas de estos) pero para algunas tareas un poco básicas pueden funcionar. Al igual que hacer agentes con Langchain, justo en este momento estaba creando el archivo para empezar a planear ese video! jajaja
Muy buen video, pero no pudimos ver la visualización de los grafos, importaste nx pero no hiciste nada con eso.
Saludos.
Hola Amigo, que es Gnoss gpt
¿Puede enviarse a Chat GPT el historial de una conversación antigua?
Si, se puede almacenar el historico en una variable y hacer un pickle file. Despues ese file lo cargas y por default ya tendrá el historial de las conversaciones pasadas.
Gracias! Consulta como y cuando cual utilizar?
La que mas he usado yo es la segunda con la ventana. Esa es muy buena solución para la mayoría de los casos. La que genera los resumenes te funciona si sabes que las interacciones que tendrás con tu chatbot rápido van a exceder el limite de tokens que tenga el modelo.
Excelente video, como es tu email. Por favor, Gracias. Necesito contactarte