Como treinar o ChatGPT com seus próprios dados: TUTORIAL COMPLETO!
HTML-код
- Опубликовано: 28 июл 2024
- 🚨🗓️ O calendário de eventos 2024 está no ar! Inscreva-se agora para aprender com especialistas em Inteligência Artificial, Data Science, Business Intelligence e Engenharia de Dados ✅
• DIMENSÃO BUSINESS INTELLIGENCE: bit.ly/dimensao2024yto
• SEMANA DE DADOS 2024: bit.ly/semana-2024ytb
• AI SUMMIT: bit.ly/AIsummit2024-ytb
Neste vídeo tutorial, você aprenderá como treinar o ChatGPT com seus próprios dados, dando vida a um assistente virtual personalizado. Vamos abordar todo o processo, desde a coleta e preparação dos dados até a configuração do modelo de linguagem e a avaliação do desempenho.
👉 Acesse o código em github.com/nicolasantero/sema...
👉 CONTEÚDO:
00:00 Introdução passo a passo
08:00 Web Scraping
12:03 Tokenização
13:16 Embedding
14:20 Código
33:13 Chat Assistente
35:19 Aplicações
37:44 Encerramento
A SEMANA DE DADOS:
A Semana de Dados é uma imersão de sete dias no universo dos dados. Um evento repleto de conhecimento e aprendizado com especialistas, referências profissionais e representantes de grandes empresas e dos mais diversos setores da economia, todos compartilhando suas experiências com dados, negócios e tecnologia. Com uma programação totalmente online e gratuita, vamos conectar a comunidade de dados de todo o Brasil! Saiba mais em semanadedados.com/ 
Развлечения
Baita conteúdo!
Mas um toque técnico: Isso não é treinamento em si, você está enriquecendo o contexto do input do modelo.
Show de bola, parabéns pelo conteúdo 👏👏👏👏 obrigado por compartilhar 🙏
Parabéns pelo conteúdo.
excelente, deu uma visão geral das utilidades e o funcionamento, aplicando agora na empresa, grato pelo conhecimento passado.
Muito Bom!!!
Muito bom mesmo. Direto, didatico e bom conteudo. Obrigado pelo seu tempo e compartilhar seu conhecimento. Sucesso e fique com Deus!!!
Fenomenal! Parabéns pelo vídeo. Obrigado pelo seu tempo e generosidade no compartilhamento do seu conhecimento.
Pessoal, boa tarde! Hoje pela manhã não foi postado no Chat o link do formulário com as questões do Tutorial. Vocês irão disponibilizá-lo?
Posso usar esse script para treinar a IA e fazer as perguntas pela API e retornar a Resposta, usando uma requisicao curl por exemplo ? Para integrar outras linguagens ?
Fala amigão, estou começando um negócio e usando um sistema ERP, toda a documentação estão online no site do sistema, é tranquilo treinar o chatgpt para responder perguntas ou duvidas somente da documentação deste site, por meio do whatsapp ?
formulário para certificado? Grata
Cara sensacional obrigado pelos esclarecimento, fiquei com uma dúvida.
Como fariamos pra treinar caso o site da empresa forneça pdfs com o conteudo ?
Voce pode combinar uma tecnica chamada RaG com o FineTuning
Olá, Bruno! Agradecemos pelo seu feedback :)
Você pode utilizar qualquer tipo de documento como contexto para o modelo. Porém, é necessário realizar uma etapa de extração do conteúdo textual deste documento. No vídeo, nós utilizamos os textos extraídos do site; para documentos no formato PDF, procure bibliotecas em Python como o PyPDF2 para realizar a extração do texto.
Excelente material, porem nao foi possivel visualizar a funcao create_context(). Poderiam disponibilizar algum material para conseguirmos replicar do nosso lado?
Basta seguir a documentação
Olá, boa noite ótimo conteúdo, uma pergunta, como faria para quando não tiver a resposta, o gpt pesquisar na sua base de dados ou internet e responda o usuário?
Pesquise sobre rag
Olá, Tony! Primeiramente, agradecemos pelo comentário.
Neste tutorial, o Nicolas utilizou a técnica Retrieval Augmented Generation (RAG), como mencionado no comentário anterior. Se você notar, no vídeo, foi especificado no prompt do modelo para que ele responda que não sabe responder caso não encontre uma resposta nos textos que passamos de entrada para ele.
Caso você queira fazer perguntas utilizando apenas o conhecimento do modelo da OpenAI, você pode utilizar a API de forma simples. Consultando a documentação da OpenAI, você encontra diversos tutoriais de como realizar isso.
se eu colocar um livro que estou escrevendo no treinamento, o gpt vai ficar limitado a aquele conteúdo e incapaz de me ajudar a criar mais conteúdo por eu não ter colocado uma quantidade massiva de dados como a openAI fez com o chatgpt ou essa capacidade já está no pré treinamento e ele vai aprender a história e seguir como assistente de escrita mesmo que eu pedir ajuda para escrever coisas que ainda não estão no texto?
Você pode enviar uma pergunta ou input, e enviar as "instruções" para ele. Exemplo Pegue o input e gere uma resposta com base no contexto: (Para comprar o meu produto você precisa acessar o site xxx etc.... ) Quem limita a resposta e você passando a instrução. Isso é útil para empresas quem vendem produtos ou dão suporte. Mas você pode fazer outras abordagens. Ai que entra a questão do NLP (processamento de linguagem natural). Você criar uma séria de instruções predefinidas, através de alguns algoritmos você vai transformar essa instrução em um vetor e armazenar em um banco de dados vetorial. Quando o usuário enviar um input, você vai consulta no banco qual é o vetor mais adequado e enviar como instrução para o LLM (IA), posteriormente você pode refazer esse processo para ajustar os inputs e resposta.
Uma duvida, o processamento é feito no proprio computador ou é feito no hardware da Open AI e retorna para o computador? Existe limitacao de dados ou caracteres que o modelo é limitado a gravar? Abs
Olá! Como demonstrado no vídeo, o processamento ocorre nos servidores da OpenAI. Cada solicitação é enviada através da API e processada remotamente, retornando apenas a resposta gerada pelo modelo. Quanto às limitações, elas podem variar de acordo com o modelo e plano que você está utilizando. Por isso, recomendamos consultar a documentação da OpenAI para obter informações mais atualizadas quanto às limitações de tokens.
Como eu poderia fazer simliar? Ao invés de usar urls de sites, gostaria de colocar 10 a 20 PDFs de um tema. Poderia acontecer?
Tbm gostaria de saber
queria fazer isso tbm
Olá, pessoal! É possível, sim. No vídeo, o Nicolas utilizou diferentes páginas do site. Nesse caso, vocês podem imaginar cada página sendo um PDF diferente. A única diferença é a forma que vocês irão fazer a extração dos textos do PDF. Aqui, a sugestão é que vocês vejam o framework chamado LlamaIndex - ele facilita lidar com diversos tipos de documento e como organizar esses textos extraídos antes de usar como contexto.
Queria muito fazer isso localmente!
nesse caso a gente tem usado o Llama
@@BIXTecnologia ótimo conteúdo!!!!
@@BIXTecnologia tem vídeo sobre?
@@ericksonlopes5775 no nosso canal ainda não temos, mas a gente tem feito e funciona bem, é ótimo para privacidade, custo e aprendizado
muito bom, Parabens pelo trabalho!
teria como eu consumir os dados de pdfs?
Procure sobre rag
@@VeshaSec vlw mano
Por nada irmão, essa comunidade precisa crescer! Quiser entrar em contato para tirar duvidas e precisar de suporte pode dar o papo.@@JoaoSilva-in8ht
@@VeshaSec pô mano tava querendo, esatava querendo utilizar em uma aplicação, tô meio perdido com isso ainda kkkkk, agradeço muito pela atenção
@@VeshaSec vc tá falando sobre "geração aumentada de recuperação"? queria usar pdfs num projeto do estágio
Olá
Excelente aula!
2 dúvidas:
1- como faço para usar PDFs no ligar de site?
2- como usar esse modelo como uma api para ser usado por outro app meu?
Olá! Respondendo a primeira pergunta: você pode utilizar qualquer tipo de documento como contexto para o modelo. Porém, é necessário realizar uma etapa de extração do conteúdo textual deste documento. No vídeo, nós utilizamos os textos extraídos do site; para documentos no formato PDF, procure bibliotecas em Python como o PyPDF2 para realizar a extração do texto.
Já quanto à segunda pergunta, você deve adequar a chamada da API de acordo com a linguagem de programação que você está utilizando para desenvolver sua aplicação. É recomendado consultar a documentação da OpenAI para entender como adequar à sua necessidade.
E claro, agradecemos pelo feedback sobre o tutorial! 😁
Posso colocar no Whatsapp?
O pode porém vai ter que ter o auxílio de uma ferramenta chamada many chat ou similar
Alguém tentou fazer e não ganhou os créditos?
você precisa de um conta de email e numero novo, tenta fazer isso
Olá! Como mencionado, caso você entre na plataforma e não tenha créditos disponíveis, é porque já acabou a validade de seus créditos. Nesse caso, é recomendado que você crie uma nova conta utilizando outro número de telefone. Outra possibilidade é utilizar outras plataformas como Anyscale, que disponibiliza créditos para testar outros modelos de LLM Open Source.
Só prestei atenção na quantidade de Éeeeee que vc falou. Nossa!
Faz melhor amigão. Chato pra caramba hein.
Gerundismo...