Acredito que cada llm tem suas qualidades e defeitos e de depende para que vai usar. O Claude é muito bom para entender e retorna muito bem escrito e o ChatGpt é fantástico para código e para reconhecer coisas em imagem. Pedi essa semana para reconhecer um circuito eletrônico e o Chatgpt acertou em cheio e ainda explicou como funciona o circuito!!!!
No momento estou usando o ChatGPT 4o, mas também já usei o o1 e achei bem melhor, mas tenho interesse em testar o Llama 3.2 em meu notebook por ser opensource e também outras, como o Stable LM 2 12B da Stability AI por exemplo. E faço como vc também. Primeiro uso as minhas GPTs Personalizadas. Caso não seja suficiente, vou para o o1-Preview.
O Gemini, nas perguntas que eu fiz até o momento alucinou, quando disse que não poderia responder ou ficou em loop em perguntas que nunca terminavam. As mesmas perguntas o ChatGPT respondeu de primeira.
@@inteligenciamilgrau Minha última opção neste momento. Prefiro Llama do WhatsApp do que o Gemini. Talvez seja melhor até! Rsrsrs. E olha que eu tinha testado o Gemini Advanced na época que liberou para nós brasileiros, mas me frustrei. Preferia usar o ChatGPT 3.5 Turbo.
Fantástico, Bob! É verdade, eu mesmo tenho a tendência de torcer pro Claude, então a sacada desse site de só mostrar os modelos depois que você escolhe a melhor resposta é sensacional! Parabéns pelo vídeo!
kkkkkkk a torcida nunca pára!! O Claude e o GPT4 estão acima dos benchmarchs!! Na prática do dia a dia, fazendo automações e vendo os resultados que a gente entende!! Valeuuuuuuuuuuu
Na minha experiência rápida testando os 5 principais modelos. Exatas: 1° Sonnet, 2° GPT, 3° Gemini, 4° Mistral, 5° Llama. Humanas: 1° Sonnet, 2° Gemini, 3° Mistral, 4° GPT, 5° Llama. Sonnet continua sendo o meu preferido e achei que o Gemini e Mistral melhoraram bastante. O único que não gostei até agora foi o Llama, esperava mais pelos benchmark divulgados. Mistral tá bem melhor, por exemplo.
Em texto (no quesito coerência), é melhor o Claude! Os demais sempre dão alguns deslizes, pondo coisas, digamos, tortas, ou seja, que não são muito congruentes: frases estranhas, semanticamente falando.
Faaaaa Atlas!! Quanto maior o código, mais difícil de lidar!! Eu percebi que tem algumas coisas que ajudam!! Por exemplo, combinar certos nomes para variáveis que facilitem conversar sobre elas!! Esse ponto é chave na hora de pedir uma alteração!! Eu percebi que quando ele gerava o código sozinho e não tinha nada combinado, na hora de alterar o código e ele fazia algo errado era porque eu não estava conseguindo dizer com clareza qual ponto era para mexer! E quando comecei a combinar nomes para trechos e para variáveis ficou muito mais simples! Valeuuuuuuuuu
Acredito que cada llm tem suas qualidades e defeitos e de depende para que vai usar. O Claude é muito bom para entender e retorna muito bem escrito e o ChatGpt é fantástico para código e para reconhecer coisas em imagem. Pedi essa semana para reconhecer um circuito eletrônico e o Chatgpt acertou em cheio e ainda explicou como funciona o circuito!!!!
Essa mágica que a "visão" deles faz eu até hoje fico sem entender como consegue! rsrsrs
Superinteressante este site de comparativos de LLMs! Show! Valeu pela dica!
É excelente pra saber o que há de novo! Valeuuuu
No momento estou usando o ChatGPT 4o, mas também já usei o o1 e achei bem melhor, mas tenho interesse em testar o Llama 3.2 em meu notebook por ser opensource e também outras, como o Stable LM 2 12B da Stability AI por exemplo. E faço como vc também. Primeiro uso as minhas GPTs Personalizadas. Caso não seja suficiente, vou para o o1-Preview.
Exatamente! Esse mês estou testando o Claude! Ele é excelente para código e texto! Se olhar o vídeo do Enem, comparo ele com gpt4o
@inteligenciamilgrau Interessante. Gostaria que o ChatGPT tivesse mais tokens para contexto como o Claude tem. Fundamental para códigos.
O Gemini, nas perguntas que eu fiz até o momento alucinou, quando disse que não poderia responder ou ficou em loop em perguntas que nunca terminavam. As mesmas perguntas o ChatGPT respondeu de primeira.
Gemini não sei como ainda está online rsrsrs É o único que não uso nem de graça!
@@inteligenciamilgrau Minha última opção neste momento. Prefiro Llama do WhatsApp do que o Gemini. Talvez seja melhor até! Rsrsrs. E olha que eu tinha testado o Gemini Advanced na época que liberou para nós brasileiros, mas me frustrei. Preferia usar o ChatGPT 3.5 Turbo.
Bob!!! Sua didática é fantástica e queria pedir para você fazer um vídeo sobre huggingface para nós!!!!!
Boaaaa! Excelente tema!! Valeuuuuuuuu
Fantástico, Bob! É verdade, eu mesmo tenho a tendência de torcer pro Claude, então a sacada desse site de só mostrar os modelos depois que você escolhe a melhor resposta é sensacional! Parabéns pelo vídeo!
kkkkkkk a torcida nunca pára!! O Claude e o GPT4 estão acima dos benchmarchs!! Na prática do dia a dia, fazendo automações e vendo os resultados que a gente entende!! Valeuuuuuuuuuuu
Meu hobby é ver vídeos sobre IA, futuros mundos digitiais e singularidade
Por conta disso, devo admitir que esse canal é um achado e tanto
Muito bom ler seu comentário Aqua Lazuli!! Obrigadãooooooooooo!! Valeuuuuuuu
Na minha experiência rápida testando os 5 principais modelos.
Exatas: 1° Sonnet, 2° GPT, 3° Gemini, 4° Mistral, 5° Llama.
Humanas: 1° Sonnet, 2° Gemini, 3° Mistral, 4° GPT, 5° Llama.
Sonnet continua sendo o meu preferido e achei que o Gemini e Mistral melhoraram bastante.
O único que não gostei até agora foi o Llama, esperava mais pelos benchmark divulgados. Mistral tá bem melhor, por exemplo.
Voce testou o Llama no melhor modelo? Ou foi o mais basico? Porque pra rodar o melhor modelo precisa de um hardware bem potente
Gostei de ver sua avaliação!! Mostra inclusive o Mistral tendo a importancia e muita gente nem chegou a testar!! Muito bom!!!
Como acessar o sonnet?
@@flavyosp O Sonnet é o modelo do chat Claude da Anthropic!! Usando a versão gratuita você já consegue testar com limites: claude.ai/
Muito bom!!!!!
Uhuuuuu!! Sempre bom ter onde consultar!!
Em texto (no quesito coerência), é melhor o Claude! Os demais sempre dão alguns deslizes, pondo coisas, digamos, tortas, ou seja, que não são muito congruentes: frases estranhas, semanticamente falando.
Exato!! E ele tem uma estrutura humana que parece ser mais emocional e atinge melhor o leitor!!
pago versão pro do claude, mas certo tempo de uso , fui limitado não podendo mais usa lo . Normal isso?
Faaala Marquinhos!! É normal sim, tem a tabela de uso deles aqui: docs.anthropic.com/pt/api/rate-limits#rate-limits
claude se superou com artefatos, mas ainda tá fraco, quando certa em um certo tamanho de.codigo , os artefatos não funcionam.
Faaaaa Atlas!! Quanto maior o código, mais difícil de lidar!! Eu percebi que tem algumas coisas que ajudam!! Por exemplo, combinar certos nomes para variáveis que facilitem conversar sobre elas!! Esse ponto é chave na hora de pedir uma alteração!! Eu percebi que quando ele gerava o código sozinho e não tinha nada combinado, na hora de alterar o código e ele fazia algo errado era porque eu não estava conseguindo dizer com clareza qual ponto era para mexer! E quando comecei a combinar nomes para trechos e para variáveis ficou muito mais simples! Valeuuuuuuuuu
Gemini melhorou bastante
Exatamente!! E deve melhorar ainda mais ao longo do tempo!! Vamos acompanhando!! Valeuuuuuuuu
a Claude me ajudou a entender conceitos complexos de modo facinho mas o foda é sua censura
O Claude é a mais avançada do momento!! Só elogios para ela!! Gosto demais!! Valeuuuuuuuu
Com certeza não é o gemini
Rsrsrs, a minha experiência diz o mesmo!! Mas depois desse benchmark confesso que preciso fazer uma nova bateria de testes!! Valeuuuuuuuuuuuuuuu