É possivel instalar em uma vps por exemplo? Não consegui até então, uso a hetzner e quando dou o comando do install.sh ele dá bad request, mas se dou o mesmo comando pelo wsl que montei no windows dá certo, o que poderia ser?
Cara sensacional. Eu não sei nada sobre os modelos de I.A. mas o vídeo ficou claro o suficiente para um entendimento básico do funcionamento e de como fazer o deploy do 'próprio chat GPT'.
cara obrigado pela sua boa vontade em explicar eu aprendi muuuuita coisa no seu canal, kubernetes docker já maratonei vários vídeos seus muito conteúdo bacana e quem ta na área sabe o quanto eh valioso, esse tutorial da IA local usando ollama ficou show de bola, infelizmente e muito pesado e o pc da xuxa fica lentasso, mas roda.
O LLM LlaVa é muito bom e inclusive ele é multimodal, você consegue pedir para ele descrever imagens e a qualidade é semelhante ao gpt 4 vision, usei esses dias para fazer um custom node no comfyui para descrever imagens de entrada usando tags e etc, ollama é execelente.
@@fullcrum2089 uma versão que pra mim é boa é a llava:13b-v1.6
7 месяцев назад+1
Top demais camarada! S emana passada passei muito rapidamente sobre o ollama em uma das aulas na Pós de IA q estou fazendo, mais um video a ser preparado aqui para o canal! top como sempre Jeff! Abs! Cláudio Vaz.
Vídeo muito top já estava testando coisas como Gpt4All porem gostei muito do Ollama por ter o funcionamento parecido com o Docker que já estou acostumado. Esperando o próximo vídeo rodando tudo isso com Kubernets.
Fala Jef o tutorial está errado no "ollama run llama-2" é "ollama run llama2" O mesmo problema no comando pra rodar o modelo o correto é "ollama run codellama". No mais parabéns pelo conteúdo, como sempre inovando!
Muito obrigado por compartilhar.. Dúvida, como que eu pego um modelo desse e "treino" ele com os dados do meu negócio? Seria : ollama+ banco vetorial + langchain?
Tutorial excelente!! Parabéns, mas eu gostaria de um help! Como posso liberar a GPU para agilizar o processo de resposta da IA, Tenho um processador I5 3 geração, ele está pedindo misericórdia.😥
A minha maquina tem 64gb de ram e um processador com 32 nucleos da Ryzen. :) Mas durante os testes nao passou de 20gb de ram e nem metade do consumo de hw. Ahhh e tenho uma nvidia de uns 5 anos atras
Sera que se instalar essa IA numa maquina local, eu consigo fazer requisições HTTP para ela visando utilizar ela através de um serviço ou interface própria, sem dependência da IA remota ?
Ollama ele é a mesma coisa que o LMStudio? a unica diferença é que o LMStudio fornece a interface bonitinha igual o chatgpt, já o OLLAMA oferece apenas a interface de prompt?
não vejo a hora de sair a versão docker, quero pegar um pc que está parado aqui e montar um servidor desse, só uma dúvida. ais informações da IA fica atualizadas ele busca na internet ou é feito o chat gpt que é informações até uma data?
@LinuxTips , como sempre otima aula. Uma duvida existe uma maneira do modelo aprender e salvar o aprendizado? Hj toda ve que reseto o servidor tenho que enviar o contexto. Abraço, muito obrigado.
langchain é um framework para criar agentes e integrar llms com apis, dessa forma a llm é capaz de interagir com essas apis, fazendo buscas ou salvando informações, o ollama é um projeto que lhe permite fazer inferencia das llms, que seria rodar eles, inclusive o ollama sobe uma API no formato da api da openai, o que lhe permite integrar em seus projetos, usando o langchain por exemplo.
Legal meu caro! Mas estou com um grande problema! Ninguém fala em nenhum tutorial sobre rodar com GPU. Consegui rodar tudo mas ele só puxa o meu processador!
INfelizmente para mim a parte da imagem roda tranquilo mas da imagem da openwebui não roda, tinha outras portas usadas e rodei e deu alguma bosta, mesmo apagando o container, as imagens e discos, e rodando com outras portas não roda. e internamente o .sh percebe-se que ele chama pela 8080.
Seu não tiver gpu como fica? Pq eu tenho um Xeon de 28 núcleos com 128gb de ram onde rodo Proxmox, subo meus serviços em containers do Proxmox, mas esses caras não têm gpu
@@LinuxTips rapaz, funcionou! Subi um contêiner Proxmox com 16 CPU e 16GB de RAM, dentro dele subi um container docker com o Ollama e outro com o WebUI. A velocidade ficou ok e pela WebUI eu vi que tem várias opções interessantes, como subir documentos, criar seus próprios assistentes, resposta por voz do assistente e falar por voz no chat. Será que dá pra integrar via api, tipo o que fazemos com o GPT da open ai?!
Meu computador e um i5 12400f e uma gpu 970. So que eu nao sei se o processamento esta ocorrendo na GPU ou CPU. Ou se meu computador e fraco para isto. As respostas estao bem lentas
Para rodar de maneira satisfatória você precisa de uma GPU dedicada para realizar aceleração gráfica, o mínimo era 6gb de vram e o recomendado era 12 de vram na gpu, se eu não estiver enganado.
Eu tento rodar no wsl2 usando arch linux mas ele simplesmente não detecta minha GPU, ele leva um século pra responder, parece que desenvolveram uma versão para rodar em CPU, vou testar em breve kkk
Não tem como mesmo não. :) Tem pessoas que não conseguem acompanhar mesmo, mas pra eles tem outros vídeos em outros canais que não precisa pensar. É beeeem mais fácil, vc consegue!
Tutorial passo a passo: www.linuxtips.io/blog/descomplicando-ollama-parte-1
É possivel instalar em uma vps por exemplo? Não consegui até então, uso a hetzner e quando dou o comando do install.sh ele dá bad request, mas se dou o mesmo comando pelo wsl que montei no windows dá certo, o que poderia ser?
ficou 5 estrelas a explanação! clara simples e transparante!
O Jefferson pediu 2.000 LIKES nesse vídeo.
Eu peço 4.000 LIKES pq esse vídeo merece.
Aqui é Taboão da Serra, Jardim Record!
Muito bom, agora vai dar um boom! No uso de IA.
Logo mais todos os criadores brasileiros falando do Ollama, mas tu é sempre o primeiro meu chefe
Hahahahaa
Cara sensacional. Eu não sei nada sobre os modelos de I.A. mas o vídeo ficou claro o suficiente para um entendimento básico do funcionamento e de como fazer o deploy do 'próprio chat GPT'.
Vi agora e acabai de passar para meu time. Sensacional! Valeu demais, Jeferson!
Sensacional
Ficou massa! Excelente para projetos internos em empresas
Insano! Isso é pra elevar o nível mesmo. 🤝
Cara você é lendário, meus parabéns pelo vídeo !
Conteúdo brabo como sempre!!
Saudade dos conteúdos nesse formato... #VAII
Vídeo show demais! Parabéns.
Eita, sensacional demais!
PELO AMOR DE DEUS, façam mais videos desses!!!!!!!!
cara obrigado pela sua boa vontade em explicar eu aprendi muuuuita coisa no seu canal, kubernetes docker já maratonei vários vídeos seus muito conteúdo bacana e quem ta na área sabe o quanto eh valioso, esse tutorial da IA local usando ollama ficou show de bola, infelizmente e muito pesado e o pc da xuxa fica lentasso, mas roda.
Eu que agradeço
Aguardando parte 2 !!! Conteúdo incrível, vai facilitar muito o acesso a IA
De longe um dos melhores vídeos que eu já vi sobre rodar llm local! Thanks brow ✌
❤️❤️❤️❤️❤️
O LLM LlaVa é muito bom e inclusive ele é multimodal, você consegue pedir para ele descrever imagens e a qualidade é semelhante ao gpt 4 vision, usei esses dias para fazer um custom node no comfyui para descrever imagens de entrada usando tags e etc, ollama é execelente.
na minha concepção ele alucina bastante, qual versão do llava vc usou ?
@@fullcrum2089 uma versão que pra mim é boa é a llava:13b-v1.6
Top demais camarada! S
emana passada passei muito rapidamente sobre o ollama em uma das aulas na Pós de IA q estou fazendo, mais um video a ser preparado aqui para o canal! top como sempre Jeff! Abs! Cláudio Vaz.
Que ferramente incrível! Muito bom o vídeo!
simplesmente sensacional
que video maravilhoso, meu chatgpt expirou essa semana, nem vou renovar kkkkk obrigadão pelo contéudo.
Muito da hora!!! ❤
Show demais essa revolução da IA
Vídeo muito top já estava testando coisas como Gpt4All porem gostei muito do Ollama por ter o funcionamento parecido com o Docker que já estou acostumado. Esperando o próximo vídeo rodando tudo isso com Kubernets.
Caramba, isso aí é quente. Parabéns por trazer esse conteúdo pra gente.
Jefão é brabo mesmo. Referência em novas tecnologias e ferramentas
Conteúdo sensacional!
Obrigada por compartilhar
Conteúdo de qualidade!!!
MANO MUITO BRABOOO!! PARABENS DEMAIS!
Fala Jef o tutorial está errado no "ollama run llama-2" é "ollama run llama2"
O mesmo problema no comando pra rodar o modelo o correto é "ollama run codellama".
No mais parabéns pelo conteúdo, como sempre inovando!
Muito show, como sempre. =D
Muito fodaa!!! parabéns
Sensacional!!
Muito brabo esse conteudo mano, VAIIIIIIII!!!!
LinuxTips sempre a frente!
Sensacional como sempre
Obrigado sempre
😂 top esse mano.
Muito bom mesmo
Excepcional
Show.
OLOCOOO AE SIM
Sensacional
Muito fo.............a
É importante dizer que o ollama usa os modelos no formato gguf o que diminui a precisão dos models.
Video top!!!
Muito bom
Tem como fazer ele ler arquivos locais para aprender com teus arquivos?
Sensacional ❤️
Adorei
Topzeira demais!
Bora Galera, 5000 likes pra esse vídeo sensacional!!
Muito obrigado por compartilhar.. Dúvida, como que eu pego um modelo desse e "treino" ele com os dados do meu negócio? Seria : ollama+ banco vetorial + langchain?
Voce tem que treina-lo com os dados que deseja. :)
caraca. incrivel, so conteudo top aqui no canal, uma duvida, o ollama e gratuito pra uso comercial?
Pode usar sim
👏
Top
Aí sim eu vi vantagem
Foda demais
em comparação com o gepeto e gemini, qual seria a vantagem do ollama?
Ele é o cara pra rodar esses dois. Nao tem como comparar, pois ele é o executador dos modelos como o gemini
Tutorial excelente!! Parabéns, mas eu gostaria de um help! Como posso liberar a GPU para agilizar o processo de resposta da IA, Tenho um processador I5 3 geração, ele está pedindo misericórdia.😥
show
Comenta o Hardware por favor. processador, memória e GPU usada.
A minha maquina tem 64gb de ram e um processador com 32 nucleos da Ryzen. :)
Mas durante os testes nao passou de 20gb de ram e nem metade do consumo de hw. Ahhh e tenho uma nvidia de uns 5 anos atras
Só para ter uma ideia, qual é a sua máquina?
brabo!
Sera que se instalar essa IA numa maquina local, eu consigo fazer requisições HTTP para ela visando utilizar ela através de um serviço ou interface própria, sem dependência da IA remota ?
Ollama ele é a mesma coisa que o LMStudio? a unica diferença é que o LMStudio fornece a interface bonitinha igual o chatgpt, já o OLLAMA oferece apenas a interface de prompt?
Ele te da um prompt, api e a possibilidade de conectar uma interface como o chatgpt. Ele é o docker dos modelos de IA
Sera que é possivel um modelo que tenha a geração de imagens e ou audio, para facilitar a utilização em coisas mais amplas
Sim sim
10/10 !
não vejo a hora de sair a versão docker, quero pegar um pc que está parado aqui e montar um servidor desse, só uma dúvida. ais informações da IA fica atualizadas ele busca na internet ou é feito o chat gpt que é informações até uma data?
já tem video novo! :D
Excelente, sabe dizer se ele possui API como o GPT e o Gemini?
Sim sim!
OLLAMA2 é top demais! Tenha algum relacionado a geração de texto pra audio?
@LinuxTips , como sempre otima aula. Uma duvida existe uma maneira do modelo aprender e salvar o aprendizado? Hj toda ve que reseto o servidor tenho que enviar o contexto.
Abraço, muito obrigado.
como eu instalo a interface dele sem o docker diretamente na vm? e seria possivel acessa-lo de outro host?
Grande vídeo. Uma dúvida: posso dizer que Ollama LangChain são concorrentes?
Acho que se completam, de certa forma.
langchain é um framework para criar agentes e integrar llms com apis, dessa forma a llm é capaz de interagir com essas apis, fazendo buscas ou salvando informações, o ollama é um projeto que lhe permite fazer inferencia das llms, que seria rodar eles, inclusive o ollama sobe uma API no formato da api da openai, o que lhe permite integrar em seus projetos, usando o langchain por exemplo.
Tem namorada gatinho?? Me apaixonei 😍😍
Piada manooo kkkkkkkkkk gostei muito do vídeo obrigado
Fala LinuxTips!
Qual o tamanho do prompt que eles aceitam?
Curto como o Copilot ou grande como GPT 4.0?
Longos! Vc consegue definir! :)
Chamou na cervejinha e lembrei que a minha esta no congelador!
Legal meu caro! Mas estou com um grande problema! Ninguém fala em nenhum tutorial sobre rodar com GPU. Consegui rodar tudo mas ele só puxa o meu processador!
Os drivers da GPU estão instalados? É docker? Pc local?
@@viniciusdebruin5577 Drivers instalados, inclusive o driver cuda toolkit
Como atualiza o model sem perder o histórico do chat? É possível enviar pdfs para "treinar a IA"?
Bom dia. Ganhou um seguidor hj. Acha que roda bem na minha voa de 8gb RAM. Ubuntu 20.04. Utilizo para os meus bots.
como ficaria em python? queria rodar no google colab
INfelizmente para mim a parte da imagem roda tranquilo mas da imagem da openwebui não roda, tinha outras portas usadas e rodei e deu alguma bosta, mesmo apagando o container, as imagens e discos, e rodando com outras portas não roda. e internamente o .sh percebe-se que ele chama pela 8080.
O criador do ollama trabalhou previamente no docker.
eu to ligado! :)
Achei sensacional demais!
Seu não tiver gpu como fica? Pq eu tenho um Xeon de 28 núcleos com 128gb de ram onde rodo Proxmox, subo meus serviços em containers do Proxmox, mas esses caras não têm gpu
bora testar!
@@LinuxTips rapaz, funcionou! Subi um contêiner Proxmox com 16 CPU e 16GB de RAM, dentro dele subi um container docker com o Ollama e outro com o WebUI.
A velocidade ficou ok e pela WebUI eu vi que tem várias opções interessantes, como subir documentos, criar seus próprios assistentes, resposta por voz do assistente e falar por voz no chat.
Será que dá pra integrar via api, tipo o que fazemos com o GPT da open ai?!
@@henrique-marti ele ficou em uma velocidade parecida com o gpt?
Meu computador e um i5 12400f e uma gpu 970. So que eu nao sei se o processamento esta ocorrendo na GPU ou CPU. Ou se meu computador e fraco para isto. As respostas estao bem lentas
Para rodar de maneira satisfatória você precisa de uma GPU dedicada para realizar aceleração gráfica, o mínimo era 6gb de vram e o recomendado era 12 de vram na gpu, se eu não estiver enganado.
Qual é a sua CPU e sua Placa de vídeo? A minha aqui leva uns 30s para responder uma palavra 😢😅😅
ve o outro video para rodar no kubernetes, acho que vai rodar mais fino. :)
Eu tento rodar no wsl2 usando arch linux mas ele simplesmente não detecta minha GPU, ele leva um século pra responder, parece que desenvolveram uma versão para rodar em CPU, vou testar em breve kkk
Até onde sei o ollama agora tem suporte para o windows.
Infelizmente não consegui fazer trocar no meu not, se alguém souber de algo mais leve...
Que maquiina é essa irmão?!
Chama de Eliana que ta tudo certo e fica mais fácil 😂
rapá, me fala a config desse "servidor" ai que vc tá usando? hgauhauhau
tadinho do meu m1 travou todo kkkkk
Caralho que doideira, a mao que treme chega a tremer...
O meu parou de falar em português e não volta de jeito nenhum
Assistindo em 4x
Não tem como assistir esse cara por mais de 2 segundos
Não tem como mesmo não. :)
Tem pessoas que não conseguem acompanhar mesmo, mas pra eles tem outros vídeos em outros canais que não precisa pensar. É beeeem mais fácil, vc consegue!
@@LinuxTips tem gente que tem alergia a pessoas felizes hahaha