É possivel instalar em uma vps por exemplo? Não consegui até então, uso a hetzner e quando dou o comando do install.sh ele dá bad request, mas se dou o mesmo comando pelo wsl que montei no windows dá certo, o que poderia ser?
Cara sensacional. Eu não sei nada sobre os modelos de I.A. mas o vídeo ficou claro o suficiente para um entendimento básico do funcionamento e de como fazer o deploy do 'próprio chat GPT'.
O LLM LlaVa é muito bom e inclusive ele é multimodal, você consegue pedir para ele descrever imagens e a qualidade é semelhante ao gpt 4 vision, usei esses dias para fazer um custom node no comfyui para descrever imagens de entrada usando tags e etc, ollama é execelente.
cara obrigado pela sua boa vontade em explicar eu aprendi muuuuita coisa no seu canal, kubernetes docker já maratonei vários vídeos seus muito conteúdo bacana e quem ta na área sabe o quanto eh valioso, esse tutorial da IA local usando ollama ficou show de bola, infelizmente e muito pesado e o pc da xuxa fica lentasso, mas roda.
Top demais camarada! S emana passada passei muito rapidamente sobre o ollama em uma das aulas na Pós de IA q estou fazendo, mais um video a ser preparado aqui para o canal! top como sempre Jeff! Abs! Cláudio Vaz.
Vídeo muito top já estava testando coisas como Gpt4All porem gostei muito do Ollama por ter o funcionamento parecido com o Docker que já estou acostumado. Esperando o próximo vídeo rodando tudo isso com Kubernets.
Fala Jef o tutorial está errado no "ollama run llama-2" é "ollama run llama2" O mesmo problema no comando pra rodar o modelo o correto é "ollama run codellama". No mais parabéns pelo conteúdo, como sempre inovando!
Tutorial excelente!! Parabéns, mas eu gostaria de um help! Como posso liberar a GPU para agilizar o processo de resposta da IA, Tenho um processador I5 3 geração, ele está pedindo misericórdia.😥
@LinuxTips , como sempre otima aula. Uma duvida existe uma maneira do modelo aprender e salvar o aprendizado? Hj toda ve que reseto o servidor tenho que enviar o contexto. Abraço, muito obrigado.
Muito obrigado por compartilhar.. Dúvida, como que eu pego um modelo desse e "treino" ele com os dados do meu negócio? Seria : ollama+ banco vetorial + langchain?
A minha maquina tem 64gb de ram e um processador com 32 nucleos da Ryzen. :) Mas durante os testes nao passou de 20gb de ram e nem metade do consumo de hw. Ahhh e tenho uma nvidia de uns 5 anos atras
não vejo a hora de sair a versão docker, quero pegar um pc que está parado aqui e montar um servidor desse, só uma dúvida. ais informações da IA fica atualizadas ele busca na internet ou é feito o chat gpt que é informações até uma data?
Ollama ele é a mesma coisa que o LMStudio? a unica diferença é que o LMStudio fornece a interface bonitinha igual o chatgpt, já o OLLAMA oferece apenas a interface de prompt?
langchain é um framework para criar agentes e integrar llms com apis, dessa forma a llm é capaz de interagir com essas apis, fazendo buscas ou salvando informações, o ollama é um projeto que lhe permite fazer inferencia das llms, que seria rodar eles, inclusive o ollama sobe uma API no formato da api da openai, o que lhe permite integrar em seus projetos, usando o langchain por exemplo.
INfelizmente para mim a parte da imagem roda tranquilo mas da imagem da openwebui não roda, tinha outras portas usadas e rodei e deu alguma bosta, mesmo apagando o container, as imagens e discos, e rodando com outras portas não roda. e internamente o .sh percebe-se que ele chama pela 8080.
Meu computador e um i5 12400f e uma gpu 970. So que eu nao sei se o processamento esta ocorrendo na GPU ou CPU. Ou se meu computador e fraco para isto. As respostas estao bem lentas
Para rodar de maneira satisfatória você precisa de uma GPU dedicada para realizar aceleração gráfica, o mínimo era 6gb de vram e o recomendado era 12 de vram na gpu, se eu não estiver enganado.
Legal meu caro! Mas estou com um grande problema! Ninguém fala em nenhum tutorial sobre rodar com GPU. Consegui rodar tudo mas ele só puxa o meu processador!
Seu não tiver gpu como fica? Pq eu tenho um Xeon de 28 núcleos com 128gb de ram onde rodo Proxmox, subo meus serviços em containers do Proxmox, mas esses caras não têm gpu
@@LinuxTips rapaz, funcionou! Subi um contêiner Proxmox com 16 CPU e 16GB de RAM, dentro dele subi um container docker com o Ollama e outro com o WebUI. A velocidade ficou ok e pela WebUI eu vi que tem várias opções interessantes, como subir documentos, criar seus próprios assistentes, resposta por voz do assistente e falar por voz no chat. Será que dá pra integrar via api, tipo o que fazemos com o GPT da open ai?!
Eu tento rodar no wsl2 usando arch linux mas ele simplesmente não detecta minha GPU, ele leva um século pra responder, parece que desenvolveram uma versão para rodar em CPU, vou testar em breve kkk
Não tem como mesmo não. :) Tem pessoas que não conseguem acompanhar mesmo, mas pra eles tem outros vídeos em outros canais que não precisa pensar. É beeeem mais fácil, vc consegue!
Tutorial passo a passo: www.linuxtips.io/blog/descomplicando-ollama-parte-1
É possivel instalar em uma vps por exemplo? Não consegui até então, uso a hetzner e quando dou o comando do install.sh ele dá bad request, mas se dou o mesmo comando pelo wsl que montei no windows dá certo, o que poderia ser?
O Jefferson pediu 2.000 LIKES nesse vídeo.
Eu peço 4.000 LIKES pq esse vídeo merece.
Aqui é Taboão da Serra, Jardim Record!
Logo mais todos os criadores brasileiros falando do Ollama, mas tu é sempre o primeiro meu chefe
Hahahahaa
Cara sensacional. Eu não sei nada sobre os modelos de I.A. mas o vídeo ficou claro o suficiente para um entendimento básico do funcionamento e de como fazer o deploy do 'próprio chat GPT'.
PELO AMOR DE DEUS, façam mais videos desses!!!!!!!!
Cara você é lendário, meus parabéns pelo vídeo !
Vi agora e acabai de passar para meu time. Sensacional! Valeu demais, Jeferson!
Sensacional
Conteúdo brabo como sempre!!
Insano! Isso é pra elevar o nível mesmo. 🤝
Ficou massa! Excelente para projetos internos em empresas
Vídeo show demais! Parabéns.
Aguardando parte 2 !!! Conteúdo incrível, vai facilitar muito o acesso a IA
O LLM LlaVa é muito bom e inclusive ele é multimodal, você consegue pedir para ele descrever imagens e a qualidade é semelhante ao gpt 4 vision, usei esses dias para fazer um custom node no comfyui para descrever imagens de entrada usando tags e etc, ollama é execelente.
na minha concepção ele alucina bastante, qual versão do llava vc usou ?
@@fullcrum2089 uma versão que pra mim é boa é a llava:13b-v1.6
Saudade dos conteúdos nesse formato... #VAII
Eita, sensacional demais!
cara obrigado pela sua boa vontade em explicar eu aprendi muuuuita coisa no seu canal, kubernetes docker já maratonei vários vídeos seus muito conteúdo bacana e quem ta na área sabe o quanto eh valioso, esse tutorial da IA local usando ollama ficou show de bola, infelizmente e muito pesado e o pc da xuxa fica lentasso, mas roda.
Eu que agradeço
Top demais camarada! S
emana passada passei muito rapidamente sobre o ollama em uma das aulas na Pós de IA q estou fazendo, mais um video a ser preparado aqui para o canal! top como sempre Jeff! Abs! Cláudio Vaz.
Muito da hora!!! ❤
OLOCOOO AE SIM
Vídeo muito top já estava testando coisas como Gpt4All porem gostei muito do Ollama por ter o funcionamento parecido com o Docker que já estou acostumado. Esperando o próximo vídeo rodando tudo isso com Kubernets.
De longe um dos melhores vídeos que eu já vi sobre rodar llm local! Thanks brow ✌
❤️❤️❤️❤️❤️
simplesmente sensacional
que video maravilhoso, meu chatgpt expirou essa semana, nem vou renovar kkkkk obrigadão pelo contéudo.
Show demais essa revolução da IA
Conteúdo de qualidade!!!
Jefão é brabo mesmo. Referência em novas tecnologias e ferramentas
Caramba, isso aí é quente. Parabéns por trazer esse conteúdo pra gente.
Que ferramente incrível! Muito bom o vídeo!
Muito show, como sempre. =D
Muito fodaa!!! parabéns
MANO MUITO BRABOOO!! PARABENS DEMAIS!
Sensacional!!
Obrigada por compartilhar
Conteúdo sensacional!
Muito bom mesmo
Excepcional
Show.
Muito brabo esse conteudo mano, VAIIIIIIII!!!!
Muito fo.............a
😂 top esse mano.
Video top!!!
Aí sim eu vi vantagem
Sensacional
Top
10/10 !
Muito bom
Tem como fazer ele ler arquivos locais para aprender com teus arquivos?
Sensacional como sempre
Obrigado sempre
É importante dizer que o ollama usa os modelos no formato gguf o que diminui a precisão dos models.
👏
LinuxTips sempre a frente!
Bora Galera, 5000 likes pra esse vídeo sensacional!!
Foda demais
Adorei
Topzeira demais!
Fala Jef o tutorial está errado no "ollama run llama-2" é "ollama run llama2"
O mesmo problema no comando pra rodar o modelo o correto é "ollama run codellama".
No mais parabéns pelo conteúdo, como sempre inovando!
Só para ter uma ideia, qual é a sua máquina?
show
Sensacional ❤️
Tutorial excelente!! Parabéns, mas eu gostaria de um help! Como posso liberar a GPU para agilizar o processo de resposta da IA, Tenho um processador I5 3 geração, ele está pedindo misericórdia.😥
Bom dia. Ganhou um seguidor hj. Acha que roda bem na minha voa de 8gb RAM. Ubuntu 20.04. Utilizo para os meus bots.
OLLAMA2 é top demais! Tenha algum relacionado a geração de texto pra audio?
@LinuxTips , como sempre otima aula. Uma duvida existe uma maneira do modelo aprender e salvar o aprendizado? Hj toda ve que reseto o servidor tenho que enviar o contexto.
Abraço, muito obrigado.
Muito obrigado por compartilhar.. Dúvida, como que eu pego um modelo desse e "treino" ele com os dados do meu negócio? Seria : ollama+ banco vetorial + langchain?
Voce tem que treina-lo com os dados que deseja. :)
em comparação com o gepeto e gemini, qual seria a vantagem do ollama?
Ele é o cara pra rodar esses dois. Nao tem como comparar, pois ele é o executador dos modelos como o gemini
brabo!
Tem namorada gatinho?? Me apaixonei 😍😍
Piada manooo kkkkkkkkkk gostei muito do vídeo obrigado
caraca. incrivel, so conteudo top aqui no canal, uma duvida, o ollama e gratuito pra uso comercial?
Pode usar sim
Comenta o Hardware por favor. processador, memória e GPU usada.
A minha maquina tem 64gb de ram e um processador com 32 nucleos da Ryzen. :)
Mas durante os testes nao passou de 20gb de ram e nem metade do consumo de hw. Ahhh e tenho uma nvidia de uns 5 anos atras
Sera que é possivel um modelo que tenha a geração de imagens e ou audio, para facilitar a utilização em coisas mais amplas
Sim sim
não vejo a hora de sair a versão docker, quero pegar um pc que está parado aqui e montar um servidor desse, só uma dúvida. ais informações da IA fica atualizadas ele busca na internet ou é feito o chat gpt que é informações até uma data?
já tem video novo! :D
Excelente, sabe dizer se ele possui API como o GPT e o Gemini?
Sim sim!
Ollama ele é a mesma coisa que o LMStudio? a unica diferença é que o LMStudio fornece a interface bonitinha igual o chatgpt, já o OLLAMA oferece apenas a interface de prompt?
Ele te da um prompt, api e a possibilidade de conectar uma interface como o chatgpt. Ele é o docker dos modelos de IA
Fala LinuxTips!
Qual o tamanho do prompt que eles aceitam?
Curto como o Copilot ou grande como GPT 4.0?
Longos! Vc consegue definir! :)
Chamou na cervejinha e lembrei que a minha esta no congelador!
Grande vídeo. Uma dúvida: posso dizer que Ollama LangChain são concorrentes?
Acho que se completam, de certa forma.
langchain é um framework para criar agentes e integrar llms com apis, dessa forma a llm é capaz de interagir com essas apis, fazendo buscas ou salvando informações, o ollama é um projeto que lhe permite fazer inferencia das llms, que seria rodar eles, inclusive o ollama sobe uma API no formato da api da openai, o que lhe permite integrar em seus projetos, usando o langchain por exemplo.
como eu instalo a interface dele sem o docker diretamente na vm? e seria possivel acessa-lo de outro host?
O criador do ollama trabalhou previamente no docker.
eu to ligado! :)
Achei sensacional demais!
INfelizmente para mim a parte da imagem roda tranquilo mas da imagem da openwebui não roda, tinha outras portas usadas e rodei e deu alguma bosta, mesmo apagando o container, as imagens e discos, e rodando com outras portas não roda. e internamente o .sh percebe-se que ele chama pela 8080.
Meu computador e um i5 12400f e uma gpu 970. So que eu nao sei se o processamento esta ocorrendo na GPU ou CPU. Ou se meu computador e fraco para isto. As respostas estao bem lentas
Para rodar de maneira satisfatória você precisa de uma GPU dedicada para realizar aceleração gráfica, o mínimo era 6gb de vram e o recomendado era 12 de vram na gpu, se eu não estiver enganado.
Legal meu caro! Mas estou com um grande problema! Ninguém fala em nenhum tutorial sobre rodar com GPU. Consegui rodar tudo mas ele só puxa o meu processador!
Os drivers da GPU estão instalados? É docker? Pc local?
@@viniciusdebruin5577 Drivers instalados, inclusive o driver cuda toolkit
Infelizmente não consegui fazer trocar no meu not, se alguém souber de algo mais leve...
Seu não tiver gpu como fica? Pq eu tenho um Xeon de 28 núcleos com 128gb de ram onde rodo Proxmox, subo meus serviços em containers do Proxmox, mas esses caras não têm gpu
bora testar!
@@LinuxTips rapaz, funcionou! Subi um contêiner Proxmox com 16 CPU e 16GB de RAM, dentro dele subi um container docker com o Ollama e outro com o WebUI.
A velocidade ficou ok e pela WebUI eu vi que tem várias opções interessantes, como subir documentos, criar seus próprios assistentes, resposta por voz do assistente e falar por voz no chat.
Será que dá pra integrar via api, tipo o que fazemos com o GPT da open ai?!
@@henrique-marti ele ficou em uma velocidade parecida com o gpt?
Chama de Eliana que ta tudo certo e fica mais fácil 😂
rapá, me fala a config desse "servidor" ai que vc tá usando? hgauhauhau
Eu tento rodar no wsl2 usando arch linux mas ele simplesmente não detecta minha GPU, ele leva um século pra responder, parece que desenvolveram uma versão para rodar em CPU, vou testar em breve kkk
Até onde sei o ollama agora tem suporte para o windows.
Qual é a sua CPU e sua Placa de vídeo? A minha aqui leva uns 30s para responder uma palavra 😢😅😅
ve o outro video para rodar no kubernetes, acho que vai rodar mais fino. :)
Caralho que doideira, a mao que treme chega a tremer...
Que maquiina é essa irmão?!
tadinho do meu m1 travou todo kkkkk
Assistindo em 4x
O meu parou de falar em português e não volta de jeito nenhum
Não tem como assistir esse cara por mais de 2 segundos
Não tem como mesmo não. :)
Tem pessoas que não conseguem acompanhar mesmo, mas pra eles tem outros vídeos em outros canais que não precisa pensar. É beeeem mais fácil, vc consegue!
@@LinuxTips tem gente que tem alergia a pessoas felizes hahaha