COMO USAR OS MODELOS DE IA NO KUBERNETES COM O OLLAMA | Descomplicando Ollama - parte2

Поделиться
HTML-код
  • Опубликовано: 28 ноя 2024

Комментарии • 55

  • @soaresnetoh
    @soaresnetoh 28 дней назад +1

    Fala Jef... TOP estes videos de LLM hein... manda a V3 com mais infos pra nós !!!!

  • @marcosx86
    @marcosx86 8 месяцев назад +11

    Cuidado com as EC2 ligada sem uso galeraaaa rsrsrs prevejo váaarios terraform apply com instância G4 depois desse vídeo rsrsrsrs

  • @caiomarcatti12
    @caiomarcatti12 8 месяцев назад +3

    Ainda na propaganda... tome like!

  • @pomsan
    @pomsan 8 месяцев назад +1

    Top. Vídeo bem legal. Seria top pegar essa llm privada usar um private gpt ou outro recurso para consultar documentos privados.

  • @JosemarRincon
    @JosemarRincon 8 месяцев назад +1

    Parabéns, muito top testarei aqui no docker e depois subir no k8s

  • @henriquebjr
    @henriquebjr 8 месяцев назад +3

    Parabéns pelos videos. Realmente é sensacional o Ollama e facilita muito para usar os modelos.
    Se alguém foi mais além e souber alguma forma fácil de treinar um modelo (para adicionar por exemplo documentação de produtos ou fontes de um projeto a um modelo já existente, como codellama ou llama2) me fale por favor.
    Valeu.

    • @rvian4
      @rvian4 8 месяцев назад +1

      costumo usar notebooks prontos (kaggle ou google colab) buscando no github, e adapto conforme preciso

  • @randomic_bear
    @randomic_bear 8 месяцев назад +2

    Como "treinar" o llama para tarefas específicas com contexto, como o exemplo que o cara deu ali em baixo de documentação de produtos ou códigos fonte?

  • @robisongarcia4757
    @robisongarcia4757 8 месяцев назад

    Sensacional havia testado em docker, achei muito bom. Agora vou para k8s, bora subir um eks 😂

  • @washingtonsilva728
    @washingtonsilva728 8 месяцев назад +1

    Perfeito !!!! A nova onda !!!!

  • @eduardoandrade5851
    @eduardoandrade5851 8 месяцев назад +1

    show, muito top mesmo

  • @diegoms2009
    @diegoms2009 8 месяцев назад +1

    Sensacional!!!

  • @helsinxtv5853
    @helsinxtv5853 8 месяцев назад +1

    você é o melhor

  • @fernandooliveira4889
    @fernandooliveira4889 8 месяцев назад +1

    Parabéns Jeff top demais o video !

  • @rodrigoleutz
    @rodrigoleutz 8 месяцев назад +1

    top primo, valeu pelas dicas

  • @matheusmartins4063
    @matheusmartins4063 8 месяцев назад +1

    Top demais!!

  • @marcelomanchester
    @marcelomanchester 8 месяцев назад +1

    Jeferson consegui botar pra rodar o Ollama no cluster k3s raspberry pi!!!

  • @leandrogr03
    @leandrogr03 8 месяцев назад +1

    Muito bom brincadeira pra fds vlws...

  • @rodrigoa.cascao1553
    @rodrigoa.cascao1553 8 месяцев назад +1

    Fantástico. Seria possível treinar esses modelos em algum tema/conteúdo específico?

  • @walterschnuble3275
    @walterschnuble3275 8 месяцев назад +1

    Parabéns e Obrigado

  • @elsonjuniornuness
    @elsonjuniornuness 3 месяца назад

    Ótimo o vídeo, agora verei como ele consome um banco de dados e arquivos.

  • @vinicioslopes8035
    @vinicioslopes8035 8 месяцев назад +1

    Aula incrível e de auto nível como sempre, Jeff, teria algum conteúdo demonstrando realizar fine tuning usando essa metodologia uso de LLM com Kubernetes!

  • @hugocosme-q2h
    @hugocosme-q2h 8 месяцев назад +1

    Toma o meu Like ai.. voce merece! hehehe Obrigado mano!

  • @felipeklafke
    @felipeklafke 8 месяцев назад +1

    tooop de maaaiss

  • @iamcflb1477
    @iamcflb1477 8 месяцев назад

    rapah, bagulho é doido mesmo!

  • @evolucaogames7993
    @evolucaogames7993 21 день назад

    isso serve para usar em uma vps ??

  • @celioteixeira3335
    @celioteixeira3335 8 месяцев назад +1

    Bom dia,
    Podes me dizer qual e capacidade da sua máquina do laboratório

  • @joaopaulocostanogueira1544
    @joaopaulocostanogueira1544 8 месяцев назад +1

    Qual a vantagem de instalar Ollama no kubernetes?

  • @rodrigogodoysi
    @rodrigogodoysi 8 месяцев назад +2

    👏

  • @se78404
    @se78404 8 месяцев назад +1

    Muito bom. vi, revi e verei novamente kkkk. p.s qual é o termina que vc ta usando?

  • @jesherminelli9329
    @jesherminelli9329 Месяц назад

    A documentação na descrição do vídeos não está funcionando

  • @BeloTech
    @BeloTech 6 месяцев назад +1

    muito bom véi!

  • @brunomartinsnunes6249
    @brunomartinsnunes6249 7 месяцев назад +1

    monstro !!!

  • @joaopaulorolim8328
    @joaopaulorolim8328 8 месяцев назад +1

    Show!!

  • @rodrigomata2084
    @rodrigomata2084 8 месяцев назад +2

    Olá tenho duas perguntas: 1- é possível combinar as GPUs por exemplo 2 de 24gb e rodar um modelo de 70b? E 2- Eu consigo somar placas de vídeo de fábricantes diferentes nvidia e AMD no kubernets? Vlw

    • @LinuxTips
      @LinuxTips  8 месяцев назад +1

      sim sim. :)

    • @rodrigomata2084
      @rodrigomata2084 5 месяцев назад

      @@LinuxTips Eu subi um kubernetes com dois computadores 1- master e 1- worker, cada um tem uma gpu nvidia A5000 com 24GB de VRAM, em modelos de LLM até 35B roda de boa em 1 gpu, porém para o llama 3 de 70B não dá conta do recado, neste caso eu precisaria distribuir a carga nas duas GPU's, você sabe como eu posso fazer isso?

  • @BrunoBuenoLinux
    @BrunoBuenoLinux 8 месяцев назад +1

    Subindo lab aqui né. Num tem jeito. =D

  • @artu_almeida
    @artu_almeida 8 месяцев назад +1

    no caso ai vc fez deploy etc etc mas posso subir um container do ollama localmente mesmo, e usar ollama no meu navegador?

    • @LinuxTips
      @LinuxTips  8 месяцев назад +1

      Sim sim

    • @artu_almeida
      @artu_almeida 8 месяцев назад +1

      @@LinuxTips cara, eu fiz aqui, o desempenho é muito ruim cara, 40min pra baixar o modelo, e pra responder ele manda 1 palavra de 5 em 5 minutos... to num apple m1, 16GB de RAM...

  • @clebsontorres
    @clebsontorres 8 месяцев назад +1

    brabo!!

  • @leosimoesp2
    @leosimoesp2 7 месяцев назад

    Top!!!!

  • @aroldobossoni
    @aroldobossoni 8 месяцев назад

    Alguém calculou o custo por hora para implantar esse projeto em uma cloud?

  • @AlanSilva-aocs
    @AlanSilva-aocs 8 месяцев назад +1

    #vaiiii

  • @GuilhermeSilva-cz4fo
    @GuilhermeSilva-cz4fo 8 месяцев назад +1

    O repo do ollama esta fora

  • @mcn.d2
    @mcn.d2 8 месяцев назад +1

    Phoda esse bichinho ai hein, Ollama neles rs!

  • @yohstenes934
    @yohstenes934 7 месяцев назад

    Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. está dando este erro alguem pode ajudar?

  • @mdmgodoy
    @mdmgodoy 8 месяцев назад +1