Cómo usar CHATGPT (api) sobre la base de datos de tu Empresa [Y te regalo la APP]
HTML-код
- Опубликовано: 11 сен 2024
- 👉 Descarga todos los ficheros para replicar la app del vídeo:
1. Haz click (o copia-pega) en este link: bit.ly/chatdat...
2. Te llevará a una página con las instrucciones y un botón rojo
3. Haz click en el botón rojo
4. Te aparecerá un nuevo botón que pone “Suscribe” para suscribirte al canal
5. Haz click y vuelve a la página anterior
6. Descarga los ficheros
En este vídeo vamos a construir una app de inteligencia artificial que:
- permita a un usuario decir en lenguaje natural qué consulta quiere hacer
- usando langchain la consulta le llegue a la api de ChatGpt
- conecte con una base de datos relacional y haga la consulta
- devuelva el resultado en lenguaje natural
El poder de este sistema es que para un usuario de negocio ya no será necesario:
- aprender SQL
- aprender herramientas de BI personal como PowerBI o Tableau
- tener que hacer cada petición al equipo de data science / data analytics
Herramientas usadas para esta app:
• Python
• Langchain
• Api ChatGPT
• Streamlit
• Inteligencia artificial
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](http://i.ytimg.com/vi/OmLKfDoAfyM/mqdefault.jpg)
![DATA SCIENCE: Te explico un PROYECTO TÍPICO desde el Problema Hasta el Código [INCLUYE App]](http://i.ytimg.com/vi/paw7_cZoN1Q/mqdefault.jpg)
Buen video como siempre Isaac, buscando mostrar aplicaciones prácticas que pueden implementarse en en los negocios. Muchas gracias por tu trabajo. ¡Saludos desde México!
Muy intuitivo gracias, tendremos que desarrollar nuestra propia AI para no compartir datos con terceros, pero me ha llenado la cabeza de ideas.
en septiembre posiblemente traiga una cosa muy interesante sobre ese tema :-)
@@DataScienceForBusiness si sacaste el video?
Definitivamente Ud es el mejor en esta área. Saludos desde Venezuela
excelente video, Gracias Isaac, sobretodo por orientar la soluciones a su caso de uso dentro de un ambito realista empresarial.
gracias. intento que ese sea el eje diferencial tanto del canal como de la academia DS4B
Profe Isaac excelente video, simple y entendible. Muchas gracias por su dedicacion. Saludos desde Perú!!!
Muy bueno como siempre..no sólo por lo útil, también por lo didáctico.
Super util muchisimas gracias lo estudiare para aplicarlo en cada rincon donde sea posible jejeje !!!!
Muchas gracias por la información, la IA es una gran herramienta que nos ayuda en el trabajo diario
¡me encanta!
si utilizáramos únicamente el prompt para generar el query y que este query lance la instrucción directa con la DB… ¿se podría evitar que nuestros datos se suban a los servidores de openai? es decir, que la creación del query a partir del prompt fuera totalmente independiente a al mismo query que se lanza a nuestra DB
¡gracias por el contenido!
Muchas gracias Isaac, es buenísimo este video, como siempre.
Muchísimas gracias Issac, sos un genio.
Un secretito, si le cargan a chatgpt plus el fichero.sql, este es capaz de leerlo.
Se compra chatgpt plus y con ese token? O cómo? Me podrías explicar?
@@mariafernandasantos6885 te compras chatgpt4 plus, le subes el archivo y ya está.
Se puede subir a través del código Python usando la api? O en que lugar? Pensé q solo trabajaba a nivel de.texto
Excelente, muy bueno como todos los demás videos
Muy bueno Isaac. Muchas gracias por la aportación.
Excelente info! Como siempre gracias por su tiempo!
Genial Isaac! me encantó este ejemplo práctico
fabuloso, muy bien explicado. Gracias Isaac
Excelente video, como aplicar ChatGPT. A probar!!. Saludos
¿Y como sabe chatgpt el esquema de tu base de datos para poder hacer las querys?
Te felicito, excelente vídeo!👍 Dos pregunticas: Una fuera de contexto; ¿cual tema VSCode usas en este vídeo? y esta sí esta dentro de contexto: ¿Que debería hacer para ocultar la llave o clave de la API de ChatGPT, cuando suba una App como esta a mi repositorio en Github?
uso el nord. para la segunda puedes buscar en la propia documentación de github sobre procedimientos recomendados para crear una aplicación de GitHub
Uff te pasaste con este videotutorial el mejor que he visto hasta ahora!
Se me ocurren dos preguntas:
1) Es posible usar este mismo metodo pero que la data que consulte sea pdfs y archivos de texto como word? por ejemplo para aplicarlo para una mesa de ayuda, que el usuario quiera consultar como cambiar la contraseña de su equipo, el modelo consulte los manuales o procedimientos y entregue una respuesta?
2) Es posible agregarle a este metodo la capacidad de crear graficas estadisticas de los datos? Por ejemplo usando las capacidades de DALL-E...
sí, el acceso a pdf/word es de las funciones más habituales y usadas.
para las gráficas también, pero no con dalle, se usaría por ejemplo la función de code interpreter para que la ia pudiera usar código y hacerlos
Muy buen video Issac gracias
de grande quiero ser como tu
Muy interesante, no se si langchain crea automática y transparentemente un contexto con la estructura de la base de datos y se lo pasa al API en cada query
Muchas👏👏👏👏👏👏 gracias Isaac,
Esto es muy bueno muchas gracias
Tengo una duda, ¿qué ocurre si le hacemos una pregunta que no tiene sentido, o una pregunta que simplemente nos pueda ser resuelta con la información disponible en la base de datos?
Sería genial que el resultado generado indicara de forma categórica que no es posible responder a la pregunta, y no que inventara cosas o diera respuestas erróneas (como suelen hacer ChatGPT y otras IAs).
Según el código, se configuró el parámetro "temperature" con valor de 0, para desactivar la "Creatividad" del modelo, pero me encantaría saber si en la práctica esto funcionó de manera correcta.
Saludos.
Todo eso tienes que gestionarlo en la parte de instrucciones del prompt
En este caso concreto por su naturaleza es menos propenso a alucinar.
Luego como dices temperatura cero, si aplicara en el caso le puedes pedir que documente cómo ha llegado a la respuesta y a partir de exactamente qué origen, podrías gastar más tokens y crear un agente fact checker, etc
hermosoooooooooooo mas porfavor massss cosasssss como agregarle archivos customizados por ejemplo sobre una base de conocimientos de una empresa videos fotos para que trabaje completamente para una empresa otra cosa funciona mejor con gpt4? es mas caro mas lento? por que creando un agente me quede corto de consultas y si lo quiero implementar en una empresa para que varias personas lo usen deberia usar la api para que se vaya descontando del monto de la api y mas barato es con gpt turbo quiero massss
👍👍 Gracias Isaac!
Excelente !
Genial el video!
Pregunta, ademas de responder preguntas, se pueden generar una memoria de diálogo con el chat? pedirle que mejore alguna de sus respuestas..
sí, langchain tiene clases concretas para añadir memoria
Hola Isaac una super video estoy tratando de replicar tu proyecto pero no he podido hay modo de contactarte para una explicación soy nuevo en el tema pero esta genial para implementar en el trabajo
👏🏽👏🏽👍🏽
Afectaría en algo si mi base de datos está alojada en un servidor en la nube? como lo conectaría
Excelnte video, una consulta ya que tengo que conectarme con el servidor de OpenAI en la nube, no es eso un problema de seguridad con respecto a mi datos? Saludos
muchas gracias por el video es una joya, he estado intendo conectarme al api de openai, pero me generar un error me dice que he excedido la cuota de uso, pero tengo saldo y todo esta en orden, saber que puedo hacer para solucionar ese problema
Excelente video y gracias por ilustrarme, veo que en tu base de datos tienes solo una tabla que se llama ventas si yo quisiera manejar mas tablas debo hacer algo especial o solo con nombres descriptivos chat gpt lo entiende, lo otro es conoces alguna forma de restringir o marcar cierta información como reservada.
si el nombre es descriptivo (clientes, producto, etc) lo entiende. si no es así y son nombres no descriptivos, no lo he probado, pero entiendo que poniéndole una descripción de cada tabla en el prompt funcionaría
BOOOM 🔥🔥🔥
Muy bueno!
podemos reemplazar la openai, con llama3, y hacerlo todo local
muchas gracias, si quisiera usarlo con gpt4 es reemplazar solamente?
Muy buenas Isaac. Quizás no viene a cuento pero he hecho la prueba de web scraping en wallapop sin su permiso y funciona bastante bien. Crees que podría ampliar el proyecto y añadirlo en mi porfolio? Intento mantener un perfil bajo con esto.
Hola, me imagino que existe un video del cual te guiaste lo puedes compartir. Gracias
webscraping es una zona gris, hay abogados que dicen que es legal y otros que no, en general la buena práctica es ver lo que se permite en el robots.txt. personalmente soy conservador y nunca publico nada de webscraping. si yo lo fuera a usar en un portfolio lo haría en privado, solo para enseñar en procesos de selección pero no públicamente accesible
Puedes hacer el mismo ejemplo con dos tablas diferentes y relacionadas?
Hola! Me gusto mucho tu video. Intente implementarlo y me entrega errores. Lo corri con los datos por defecto incluyendo mi api de openai y de igual forma no funciona.
ESTAS UTLIZANDO CHAP GPT PAGO O GRATIS?
Entendí, pero adonde se le instruye como están contruidas las relaciones de la BD, como sabe la IA cuales son ls tablas de parametros, las básicas, las de movimiento diario, las maestras y las historicas ?
Como sabe que XYZ123 es mi tabla de relación n a n entre XYZ y la 123 ?
Como evitar el producto cruz y como sabe cundo se quiere un join derecho o un izquierdo ?
me sale este errro saben . from langchain import SQLDatabaseChain
ImportError: cannot import name 'SQLDatabaseChain
@@kennethguerrame sale lo mismo pudiste resolver?
No nada brother, yo creo que el gordo no lo ha hecho y solo lo pasa en su video como si fuera de el@@jewelldisla2554
@@jewelldisla2554 tambien probe con la ultima pip install langchain langchain-experimental openai
@@kennethguerra Yo tengo exactamente el mismo error, he probado cambiando los paquetes por langchain_experimental.sql y langchain_community.llms y tampoco me ha dado.
Una pregunta, se puede desplegar con apache para pasar a productivo?
Yo he creado algo similar, pero a gran escala, lo he conectado a un ERP conocido del mercado chileno, pero con muchas más opciones, cuando puedas escríbeme y te muestro mi desarrollo
escribeme a isaac@datascience4business.com
Suena bastante interesante, puedes compartir ese desarrollo?
¡Muy buenas tus explicaciones eres un master!!! tengo una duda, mencionaste el tema de la confidencialidad, mi duda seria como hago para que este caso de uso sea utilizado de manera corporativa y privada que esto no sea expuesto?
puedes usar algún modelo opensource completamente en local, o usar servicios cloud pero con seguridad empresarial como Azure, etc
@DataScienceForBusiness Ya he realizado la prueba implementando este ejercicio en mi empresa, tengo duda en el siguiente escenario supongamos que tengo 2 tablas en formato csv Clientes y Membresías siendo su relación (1 a N) y necesito saber la agrupación de clientes con el total de membresías, aplicando el ejercicio visto funcionaria, pero hay alguna otra forma de realizarlo es decir sin usar la base de datos relacional , bien chat gpt es capaz de relacionar los archivos?
excelnte video parcero
Buenas, necesito implementar uno similar, pero estoy trabajando con sqlserver, es la misma estructura?
Python,Django,Sqlserver,langchain.
Muchas gracias de antemano 🙏
Y que pasa si aparte le haces preguntas que no tienen nada que ver con la DB? Supongo que igual te intentara contestar, i se gastan las peticiones a la API, que en la version gratuita son limitadas.
es un tema interesante, yo creo que intenta relacionar la pregunta con la bbdd y puede devolver cosas raras, por ej le pregunte "por donde sale el sol?" y me contestó "Inglaterra" que es un país que sale en esta bbdd. sobre el coste es irrisorio, en desarrollar este caso y probarlo con varios ejemplos gasté unos 10 céntimos
Muy buena aplicación, gracias Isaac.
Como lo hago para conectarlo a mi bd sql server… La cual esta recibiendo cargas de datos cada 10min?
Excelente video muchas gracias, muy bueno aunque tuve un problema, segui todos los pasos pero tuve un problema en el Frontend, el siguiente:
AttributeError: st.session_state has no attribute "preguntas". Did you forget to initialize it?
Alguiien que me pueda ayudar gracias
Me pasa lo mismo
Buen video, pero no me salió, tuve problemas con el backend.py: "from langchain import SQLDatabaseChain
cadena = SQLDatabaseChain(llm = llm, database = db, verbose=False)"
Gracias igual.
Estoy por comenzar una carrera, cuál recomiendan para data science, economía, actuaría o estadística?
entre esas estadística, pero asegúrate de complementar con programación desde el principio aunque sea por tu cuenta
@@DataScienceForBusinessmuchas gracias ( ◜‿◝ )♡, si estudiare mucha programación
Alguna opción con una ia local desconectada? Esto es muy útil pero normalmente los datos que tienes en las bd son sensibles
es posible, busca por ej "ollama local sql database rag"
buen video. Habria alguna forma de hacerlo igual pero que se mantuviesen localmente los datos de mi empresa? Me echa para atras eso de que open ai los coja
se están desarrollando iniciativas en ese sentido. puedes buscar por ejemplo privategpt
Si me respondería me ayudaría mucho, el codigo se podria pasar a php?, es que cree un bot con la api de Openia, y me gustaria hacer que responda consultas de la bd, pero en codigo php que llevo todo mi poryecto,
no lo sé, no uso php, siento no poder ayudarte más
Excelente video, se me abrieron varias ideas con este tema AI, pero una consulta . se podrá realizar esto con google Gemini ?
No lo he probado, pero seguro que sí. Al final el modelo lo que hace es la "traducción" de lenguaje natural a SQL, y seguro que Gemini lo hace bien.
ChatGPT es el ORM soñado.😅
Hola, se puede usar Microsoft Sql Server?
No puedo usar la aplicación, me sale error. ¿Puedes hacer un vide de como instalar todos los componentes?
Isaac muy interesante video, pero lo ideal seria crear su propia IA para su negocio ya que en esta ocasión con chatgpt estariamos compartiendo datos verdad?
Podrías utilizar Azure OpenAI para crear una instancia de GPT, los orígenes de daros que utilices no saldrían de tu tenant
OpenAI ha dicho que no usa los datos que recibe por la API y entiendo que los datos de la bbdd no los envia, solo los metadatos para poder construir la query. Aún así efectivamente yo no lo haría en mi empresa hasta tener el ok de compliance y auditoría informática
Como descargo los ficheros para hacer una réplica de esta app?
Excelente, muchas gracias! Consulta: cuando le pediste la tabla de países de mayor venta no devolvió el formato tabla. Es posible esto con streamlit?
yo lo he hecho pero con dataframes de python, tendrías que incluir en el código que transforme tu tabla final en un dataframe
Se podría hacer con el modelo GPT-2 ?
Gracias por este video
tengo una duda quizá un poco absurda pero no soy conocedor de esto asi que sin mas haré la pregunta ¿es posible hacer esto ahora directamente utilizando los GPTs que tiene OpenAI?
no lo he probado, pero es posible que se pueda a través de las acciones. De todas formas si sabes python te recomiendo que eches un ojo a la api de asistentes que es lo mismo pero con mucha más flexibilidad
hola, como puedo contactarte para una consultoría o contratación de análisis de datos?
Hola, ya te respondí por email, comprueba en spam por si acaso. s2
muy bueno el video me surge una duda por que no falta el usuario "curioso" que haga una peticion de borrado en la BD es posible que la IA lo haga ?
En un sistema de producción habría que aplicar lógicamente las medidas típicas de seguridad, permisos, etc
Hola, genial, una consulta, podría hacer un chat con IA de chatgpt o algun otro software que genere un avatar para mi empresa, básicamente lo mismo que hace en texto, pero con voz, para que mi cliente pueda interactuar hablando directamente con el avatar haciéndole consultas.
Ejemplo puede ser:
Avatar: Hola, soy emma, una inteligencia artificial, puedes preguntarme lo que sea!
Cliente: Lugares mas bonitos para visitar en mi país (o puede ser cualquier otra pregunta, la intención es que mi cliente pueda interactuar con el avatar.)
Si fuese posible, cual seria el aproximado del costo de inversión para el desarrollo.
Hola, sí, escríbeme a isaac@datascience4business.com y lo vemos
muchas gracias por el aporte, pero me marca un error cannot import name 'SQLDatabaseChain' from 'langchain' no se si a alguien mas le pase lo mismo, si esta instalado el langchain. Saludos
Hola, a mi me pasa lo mismo... solucionaste el problema? gracias
@@javierfufu no, naa aun
También tengo el mismo problema
como puedo desplegar estos proyectos?
no tienes el repro?
tengo el siguiente problema....database\base.py:66: UserWarning: Directly instantiating an SQLDatabaseChain with an llm is deprecated. Please instantiate with llm_chain argument or using the from_llm class method.
warnings.warn(
me sale este errro saben . from langchain import SQLDatabaseChain
ImportError: cannot import name 'SQLDatabaseChain
@@kennethguerra al parecer movieron y ya no estan en langchain, si no en langchain experimental
@@omarrodriguez7807lo probaste!?
@@omarrodriguez7807 yo lo probbe con langchain_experimental.sql y langchain_community.llms y tampoco me da.
# 4. Crear la cadena
from langchain_experimental.sql import SQLDatabaseChain
cadena = SQLDatabaseChain(LLMChain=llm, database=db, verbose=False)
A mi me funciona así, pero tengo otro error:
2 validation errors for SQLDatabaseChain
llm_chain
field required (type=value_error.missing)
LLMChain
extra fields not permitted (type=value_error.extra)
Para textos de estudios especificos, es posible hacer consultas?
sí, pero ya no sería la clase de acceso a bases de datos si no a documentos
@@DataScienceForBusiness como hago la consulta a un grupo de documentos que estan en formato digital de doc, pdf, xls, ppt y cad?
Realizas trabajos a empresas que deseen implementar estas tecnologias?
si quieres escríbeme a isaac@datascience4business.com explicando brevemente el caso y te comento si es del tipo de proyectos que hago
como obtengo el archivo .db de sql server
habrá una actualizacion mas a fondo de este video? o de este tema? saludos
De este vídeo no concreto. Mi intención no es profundizar en nichos concretos si no más bien dar a conocer las aplicaciones de DS/ML/IA al negocio y a la empresa y luego ya quien le guste un tema concreto que investigue sabiendo que existe y las bases.
Sobre LLMs en otras aplicaciones sí habrá más
Hola, tendrás algún curso completo para aprender esto. Gracias
Como lo descargo hola
el enlace esta caído
Todo esto se aprende en tu Master de Python ??
LLMs concretamente no, es como una especialización o nicho que recomiendo después de haber aprendido el core.
Python, acceso a bbdd, streamlit, data science, machine learning y el resto del core sí.
Hola buenas tardes, crees que ahora que esta funcionando el advanced data analytics puedas usar ese modelo en vez del de gpt3.5 para realizar un analisis más complejo y mas fiable?
Me interesa saber :/
Se puede hacer con el CHAT GPT 3.5(EL GRATUITO) ? Saludos de antemano!
el modelo usado aquí es el mismo que el de chatgpt 3.5 , lo que pasa que usando la api. con la versión web 3.5 no se puede hacer. se puede algo parecido con la plus y el plugin code interpreter
alguien lo hizo funcionar?
ahh lastima que vivo en latam
me sale este errro saben . from langchain import SQLDatabaseChain
ImportError: cannot import name 'SQLDatabaseChain
Hola, a mi me pasa lo mismo. Conseguiste solucionarlo? gracias
@@javierfufu nada ya probe con todas las versiones hasta la ultima que es pip install langchain langchain-experimental openai
Hola, pudieron solucionarlo?
@@leandrogfr no Bro esta deprecado
@@kennethguerraGracias por responder, tienes alguna sugerencia para solucionarlo?😢
Alguien lo ha hecho y le ha salido?
Lo intente, el primer fallo siempre son las versiones de librerías, pero al final corrió y los resultados no fueron los que yo esperaba, 9 de cada 10 consultas arroja error y descarte su funcionamiento
No tiene ningun sentido practico pero a fines tecnicos esta bueno.
alguien lo hizo funcionar?