não me leve a mal, legal o teste pra quem ta aprendendo mas tenho ressalvas sobre usar LLM local, no meu caso apenas tenho 1 servidor com GPU integrada do cpu, isso me impossibilita de ter modelos mais otimizados e teria que rodar na CPU. Não quero investir dinheiro e energia em uma GPU com vram gigante pra rodar um modelo de 7B que vai me trazer uma resposta meia boca sempre e vai demorar. Imagine ele tentando processar meus requests e os payloads do assistente do HA e fritando a CPU do meu homelab, inviavel no meu caso, estou utilizando o Claude 3.5 sonnet pra multimodal, o assistente do HA ta com ele e uso algumas automações de imagem com minhas cameras no HA, não passa de 30 cents por mes. btw o node do open-api é compativel com o LLM Studio, facilitaria ai sua didatica do video, valeu
Excellent work ❤
não me leve a mal, legal o teste pra quem ta aprendendo mas tenho ressalvas sobre usar LLM local, no meu caso apenas tenho 1 servidor com GPU integrada do cpu, isso me impossibilita de ter modelos mais otimizados e teria que rodar na CPU. Não quero investir dinheiro e energia em uma GPU com vram gigante pra rodar um modelo de 7B que vai me trazer uma resposta meia boca sempre e vai demorar.
Imagine ele tentando processar meus requests e os payloads do assistente do HA e fritando a CPU do meu homelab, inviavel no meu caso, estou utilizando o Claude 3.5 sonnet pra multimodal, o assistente do HA ta com ele e uso algumas automações de imagem com minhas cameras no HA, não passa de 30 cents por mes.
btw o node do open-api é compativel com o LLM Studio, facilitaria ai sua didatica do video, valeu
bons pontos amigo, com certeza é de se levar em consideração, mas é legal para aprendermos cada vez mais de tudo um pouco!
da para usar o google coral ? para o processaento dele?
O en Raspberry con AI kit
não
Teria que pesquisar dai amigo, pode ser que rodando em um mini pc consiga apontar para o Coral