CUSTOMIZAMOS O LLAMA3 E AGORA ELE É UM ASSISTENTE PARA PROGRAMAÇÃO
HTML-код
- Опубликовано: 9 фев 2025
- 🧠 𝗘𝗦𝗧𝗨𝗗𝗘 𝗡𝗔 𝗔𝗟𝗨𝗥𝗔 → codigofonte.cl...
Customizar um modelo de Inteligência Artificial é mais fácil do que se imagina. Depois que testamos o Ollama nossa mente se abriu para muitas outras possiblidades, nesse vídeo criamos um assistente de programação especialista em desenvolvimento web e ainda utilizamos uma ferramenta gráfica muito parecida com o ChatGPT da OpenAI para interagir com ele. Tudo isso rodando localmente e de graça!
📌 LINKS CITADOS
→ Aprenda a Rodar Modelos de IA no seu Computador
• IA Generativa no seu C...
📌 COMPILADO PODCAST
→ / @compiladopodcast
→ Newsletter:
compilado.codi...
📌 LINKS DO CÓDIGO FONTE TV
→ codigofonte.tv
📌 USAMOS CADEIRAS HERMAN MILLER
→ codigofonte.cl...
#IA #Llama3 #InteligenciaArtificial
Eu tenho uma RTX 4060 8GB e rodo todos os modelos acelerando até 8B de parâmetros. Acima disso a placa não aguenta, e modelos acima via CPU fica inviável, as palavras vem em saltinhos na tela. kkkk Adoro o Llama3, mas me surpreendi bastante com a Phi3 também. E tem umas llms pra programação dedicadas que são fantásticas, acertam tudo que vc precisa.
Phi3 é bem leve, o Llama pesa muito em gpu, na minha é uma hora pra responder coisas simples.
@@bceg3961 o llama3 roda muito bem na 4060, mas o Phi3 roda na CPU, é leve, e pelos meus testes tá quase a par com o llama3 que é muito maior. Phi3 dá pra embutir em nossas aplicações!!!
qual model de programacao voce testou?
Quais modelos para programação vc usa?
@@diehgo_sp pouca coisa, estou usando o vianch/codewriter via Ollama que achei surpreendente e o próprio Copilot que está muito muito bom. baixei o dolphincoder mas não consegui testar tbem...
Podem trazer um conteúdo ensinando a treinar um modelo com os nossos próprios dados? e depois fazendo requisições em forma de api no nosso modelo? tudo isso localmente?brigado, vocês são um máximo
o ollama disponibiliza uma api para que voce possa fazer requisições ao modelo, ela se parece muito com a api da openai, se nao me engano você consegue ate usar o sdk da openai apontando a base_url para o servidor do ollama
não servem para treinamento, eu busca esse uso no Ollama. Mas o prompt do SYSTEM é bem limitado, você consegue ditar alguns jeitos de ser e somente isso! ainda em busca de uma forma prática para treinar LLM.
Gostei que fizeram um vídeo na prática com a sugestão que havia comentado no vídeo de "IA Generativa no seu Computador, sem internet e DE GRAÇA!" sobre a ferramenta gráfica Open WebUI com interface similar ao chatGPT. A análise sobre essa ferramenta mostrou-se bastante positiva, especialmente pela facilidade de uso e pela eficiência em rodar modelos de linguagem avançados sem a necessidade de uma conexão com a internet.
Eu nem sonho com isso, já tô chorando pra fazer um upgrade humilde no PC. Nem sonho rodar IA...
#TreinarMeuModelo
Excelente conteúdo como sempre! Parabéns
#TreinarMeuModelo
#TreinarMeuModelo
Gostei muito da ideia! Isso para gerar uma IA com as documentações e padrões de uma empresa seria incrível!
Com certeza treinar nosso modelo! Ainda mais com que entende! Muito bom.
#Treinar_meu_modelo Galera fantastico ! O video anterior foi excelente, mas esse superou muito; Parabens !!!
Muito obrigado! 🫶
Realmente muito legal, fiz o teste em um note bem fraquinho aqui e rodou bem.
#TreinarMeuModelo
#TreinarMeuModelo
Sempre trazendo novidades!!
Parabéns.
Estou aguardando ansiosamente o vídeo treinar a ia com os próprios dados
#treinarmeumodelo
Depois do primeiro vídeo de vocês comecei a rodar vários modelos localmente e adorei. Inclusive já adquiri mais memória RAM pra poder testar modelo maiores. No aguardo.
I7 7700k 16 GB e gtx 1080 rodam bem o llama3 7b
Que valioso é esse conteúdo, meus parabéns.
Gostei!!! Ancioso pelo próximo video!!!
#TreinarMeuModelo
Que conteúdo top galera! Você estão de parabéns, sempre agregando conhecimento. Obrigado por isso!
ótimo video Erico Borgo, valeu!
Poderia ensinar a como usar o llama3 rodando localmente integrado ao VSCode como uma alternativa "custo zero" em substituição ao GitHub Copilot
Aí sim em eu apoio
Addin codegpt
#TreinarMeuModelo
Adorei a ideia, ansioso pelo vídeo.
Parabéns pelo conteúdo.
Parabens, exelente conteudo, era tudo que eu precisava saber
#TreinarMeuModelo
Video top demais! Aguardando o próximo!
Muitooo bomm! Parabens. Ainda nao consegui fazer rodar aqui, o modelo nao aparece no webUI, mas creio que seja alguma configuracao que fiz errado.
#TreinarMeuModelo
Estou aguardando ansiosamente pelo vídeo demonstrando o treinamento! Já li alguns artigos e códigos em competições do Kaggle (como treinando o Gemma do Google), mas ainda não entendi completamente como funciona o treinamento de modelos pré-treinados, os requisitos, formato de dados, etc.
Tenho uma ideia para aprimorar um modelo para ajudar no atendimento de Helpdesk, tornando-o mais humanizado. A ideia é usar históricos de atendimentos de qualidade, convenções internas, boas praticas e cases de problemas e soluções. O modelo servirá para aumentar a eficiência do atendimento, encontrando soluções para problemas com base em registros anteriores. Isso aumentará muito a experiência tanto do atendente quanto do cliente.
A didática fantástica de vocês é o que falta para eu entender melhor o processo!
Parabéns pelo trabalho incrivel! Abraços.
#TreinarMeuModelo
Vocês são muito simpáticos, é maneiro demais assisti-los.
funcionou no meu pc pelo processador, sem placa de vídeo offboard, incrível
Com certeza é o complemento perfeito do outro vídeo! Esperando o próximo!
#treinarmeumodelo
Olá tudo bem? primeiramente obrigado pelo otimo conteudo, uma sugestão é como treinar um modelo, para atender usuários, existindo um banco de dados com as conversas entre o time de suporte e os usuários como treinar para que a IA possa responder perguntas especificas de acordo com a base de dados ?
#TreinarMeuModelo vai ser muito útil para aplicar o conhecimento dentro da minha empresa
Tô dentro!
Uhul!
#TreinarMeuModelo Excelente!!!
#treinarmeumodelo Já estou aguardando o video 👍
Da like povao !! Eles merecem muito !!
🤩🤩🤩
E nada me faltará🙏🙌
Muito bom, avise por favor quando será esse novo vídeo.
#TreinarMeuModelo
O OllamaUI tem uma interface bem amigável também e você pode baixar os modelos pela UI
#treinarMeuModelo, heheehhe, boa idéia, vamos laaaa :)
#treinarmeumodelo
Ótima ideia.... Melhor casal dev do mundo.
#TreinarMeuModelo ansioso
Treinar? Que tal #Compilar?
E depois desse episódio, talvez um de RAG, que dai não precisa treinar, só ensinar a buscar alguns dados pra injetar.
E depois, da pra usar algo tipo o Continue dev (extensão do vscode) pra usar esse modelasso como alternativa ao github copilot.
tbm sugeri essa extenção do vscode "Continue dev"
Quero ver o dia que começar a surgir IAs com integração total ao projeto, ao ponto de consegui simular processos em memorias e entregar resultados ainda mais precisos, uma integracao tao perfeita que a IA consegue saber os dados do .env, consultar o banco por ele mesmo e retornar algo como "Seu codigo nao esta errado, o problema é que na tabela X a coluna Y ta sem valor, por isso nao esta sendo exibido no log". Certeza que vai chegar nesse ponto, a questao é... quando? (ignore questoes de segurança, privacidade e etc, foi apenas um exemplo kkkk)
Não vai chegar nesse ponto, infelizmente.
Cursor Aí, já tá quase. Fincão contexto. Você joga todos os arquivos, ele vê o contexto e corrige
#treinarmeumodelo - Vai me ajudar demais quando os players sobre o assunto online estiverem fora do ar
Pessoal, eu gostaria de sugerir usarem o LM Studio para verem até onde dá para avançar e customizar com ele.
Boa.. muito bom
já tem esse vídeo de como treinar um modelo com dados próprios? de preferencia com dados de um banco tipo postgresql.
estou fazendo exatamente isto ... fica excelente, estou usando para ler dados da B3 e ajudar nas entradas e posicao no mercado
Aguardo o vídeo de treinamento de modelo
Sem dúvida alguma será a cereja do bolo.
#TreinarMeuModelo
Ótimo conteúdo!
testei e realmente gostei muito. Mas será que existe uma forma de treinar ele da maneira que minha empresa precisa utilizando arquivos? Teria algum lugar que eu subiria arquivos e ele respondesse as perguntas dos usuários com base nos arquivos enviados? Falando a grosso modo (colocar os arquivos na raiz) e ele pegar como base... Isso é possivel?
o meu n ta funcionando a enterface web com o ollama. O que pode ser?
Fala casal! Tudo bem?
Teriam alguma dica para fazer algo do tipo, tendo documentos PDF, word e até vídeos como base para fazer perguntas sobre estes dados? Como armazenar esses dados?
Não precisa ensinar, mas pelo menos informar onde posso estudar para fazer algo do tipo.
Quando perguntei, ainda não havia chegado ao final. Já responderam minha pergunta hehehe.
Esperando ansiosamente pelo próximo vídeo
Aproveitando o assunto, estou trabalhando em um projeto para implementar um modelo que responde perguntas através de dados tabulares, estou utilizando o modelo TAPAS, porém ele quebra a execução com tabelas maiores que 50x30. Alguém sabe se existe um modelo que faça esta tarefa em tabelas com escalas maiores ou até mesmo como utilizar este mesmo modelo do jeito certo?
Uma pergunta: o parâmetro SYSTEM alterado no modelfile seria o mesmo system prompt que podemos configurar em settings, concatenado em tempo de execução?
procurei isto e paree que tudo que ensinamos em tempo de execução perde qando religa o sistema, mas eu vi que o pessoa guarda tudo que é ensinado em tempo de execução em um arquivo e reensina no proximo start do sistema usando python
Eu gostei muito da ideia, mas será que não judia muito do pc? no hardware?
Faz um pra code review
treinar meus modelos
Mais videos por favor
#TreinarMeuModelo
🥳
Eu sei que lá no site o llama3 tem 3 versões 2B, 7B e 70B… esse comando baixa qual das versões??
#TreinarMeuModelo ❤
A Llama 3 consegue gerar imagens ou só Textos ? obg !
será que tem alguma forma de usar ele num plugin do vscode e do intellij para fazer igual ao copilot chat do github faz?
talvez com o modelo codellama
Queremos em
@@mundoculturapop4707 FINALMENTE CONSEGUI com um plugin no intellij github/devoxx/DevoxxGenieIDEAPlugin rodar o modelo customizado num chat direto da IDE
#TreinarMeuModelo
Ps: Meu TCC depende disso kkkk
Valeu pelo ótimo conteúdo sempre.
#TreinarMeuModelo ❤❤❤❤❤
#TreinarMeuModelo amanha cedo hahauaha
Sabe dizer se é possivel treinar a IA com meu código fonte legado para ela tornar meu copiloto durante o meu desenvolvimento ?
Aguardando o próximo vídeo sobre #TreinarMeuModelo 😅
#treinarMeuModelo Boraaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
Quanto será que custa criar uma VM pra rodar LLMs?
Será que roda bem no Raspberry pi 5?
Eu tenho rx 550 e tô rodando um modelo de boa aqui haha.
#FineTuningModel ✌️
#TreinarMeuModelo 😀
Estava pesquisando sobre isso ontem kkkk. Estaria o Código fonte usando inteligência artificial para prever interesse do inscritos? Kkkk
#treinarmeumodelo
Ai precisaria de um vidente amigo. Inteligência artificial funciona com passado. O que a ia pode fazer é baseado no que tu já fez dizer o que é mais comum e tem mais audiência.
#treinarmeumodelo seria interessante treinar um modelo de linguagem com uma linguagem de programação diferente, por exemplo pascal, ou frameworks nao disponíveis na internet (privados)
#TreinarMeuModelo Neste modo de uso do llama3 teríamos as informações sensíveis passadas a ele seguras?
há 2 dias atrás, isto aqui é verdade ? Critical RCE Vulnerability Discovered in Ollama AI Infrastructure Tool
CVE-2024-37032 2024 06 critical rce vulnerability discovered
treinar meu modelo.
Lá vou eu...
Quero saber como treinar meu modelo...
#treinarmeumodelo
Vou fazer e posto por aqui o resultado!😊
prepare o bolso
@@diehgo_sp o que é caro é hardware infelismente, para treinar batsa enviar os ttextos
#treinarmeumodelo
#treinarmeumodelo
#treinarmeumodelo
❤❤❤❤❤❤❤
"com a gente".. pronto comentei
Gostaria de saber como conectar o assistente à uma base de dados de produção, de forma que ele responda a perguntas relacionadas, sumarize dados, forneça insights #TreinarMeuModelo
o conteudo
#TreinarMeuModelo
#treinarmeumodelo
Estou cada vez mais interessado no tema!
nao apareceram os modelos pra mim
Será que funciona na minha maquina? intel pentium 2.4gh placa de video 601 embutida
#treinarmeumodelo pelo amor! Tragam esse conteúdo!!
#TreinarMeuModelo
Eu quero colocar dados!! 😊 Já fizeram? Proximo passo 🚶♂️
#treinarmeumodelo
Será que minha RX550 de 4VRAM e meu processador Ryzen5 2300 G que provavelmente vai encostar tbm vao aguentar segurar um modelo desses? queria um pra gerar imagens e fazer umas artes conceituais sem pagar kkkkk
#TreinarMeuModelo com meus codigos afim de auxilar heimmm!!! seria magico ele contextualizando com meus codigo.
# Treinar meu modelo...
# Treinar meu modelo
Treinar meu modelo
#TREINAR_MEU_MODELO
#treinar meu modelo
Se eu tiver filhos um dia o pia vai ser Baldney e a minina Baldneia
"Sei lá, #TreinarMeuModelo!"
😜
Pessoal sera que no meu i3 3770 32 RAM GTX 490 pode suportar??😅😊
#treinarMeuModelo
vlw
#treinarmeumodelodegraça