A maioria dessas plataformas utilizam os mesmos modelos, então não vai mudar muito. Você pode ver mais sobre isso pesquisando por Opem LLOM Leaderboard 2
Para redação recomendo que anexe a cartilha de redação com as competências de correção e modelos nota 1000 de anos anteriores (tá no site do INEP) e peça para ele fazer com base nela. Vai sair bem melhor!
Iberê em 7:29 tem um detalhe importante, é o exato oposto, é muito melhor acertar uma que todo mundo acerta e errar uma que todo mundo erra, esse o melhor cenário, a TRI é criticada justamente por isso
Simmm. A ideia da TRI é não beneficiar chutes, então ela tende a punir quem acerta assunto complexo mas erra básico. Seria bom se ele fixasse um comentário com essa correção
Isso é verdade, logo que ele comentou eu já percebi esse erro, são classificados em 3 tipos de perguntas, fáceis, medias e difícil Se você acertar muitas fáceis e errar as difíceis, sua nota será maior, se acerta as difíceis e errar a fáceis é contabilizado como chute e você perde ponto por isso
Incrível!! Vi o Iberê no lançamento do livro sábado em Goiânia, falei que faço IA e que não ando confiando muito no GPT, ele me disse que gravariam fazendo esse teste. Só não achei que seria TÃO rápido 😂
Eu uso muito o GPT para programação, é uma ferramenta absurda, muitas vezes coisas que demorariam horas, fica pronta em poucos minutos, existe sim a questão da possibilidade de erro, mas para isso eu estou ali para checar.
@lecinagomespivotto3095 sim, eu tenho o conhecimento só que programar tudo isso demora muito, na minha visão, o GPT está ali para agilizar e me ensinar algo novo
Exatamente. Principalmente pra coisas simples que levariam um bom tempo para escrever, como criar uma model de uma tabela com mais de 100 colunas, levaria uns bons minutos além da chance de cometer um erro ser grande. Com o GPT é só mandar a tabela e em 10 segundos a model está pronta e perfeita. Fora encontrar bugs que levariam horas e o gpt consegue identificar no código e poupar um esforço enorme
Oi Iberê sou seu fã, tenho apenas agradecimentos ao seu canal. Vc me motiva cada dia mais para eu me tornar um engenheiro químico. Adoro o seu canal Se vc ver esse comentário tenha orgulho de si mesmo, vc motiva gerações.
Fiquei curioso quanto a redaçao. Seria legal se o Iberê informasse ao ChatGPT o que foi dito na análise feita pelo avaliador e pedisse pra ele reescrever a redação, melhorando-a com base no que foi dito. E já que a avaliação pode ser subjetiva. Se tivesse uma parte 2 desse video ou no ENEM do ano que vem, acho que seria interessante melhorar o método científico. Como, por exemplo, mandar redações de bons alunos (ou até escritores e jornalistas) misturado com redações feitas pelo ChatGPT. Já que o simples fato de saber que foi feito por um robô, pode influenciar na avaliação.
provavelmente não ia mudar muita coisa, pois a IA não pode estabelecer um posicionamento mto forte sobre nada, eu nunca vi um texto de IA com personalidade
Real, e o chat GPT facilmente tira nota boa se o assunto é redação. Se o chat for a versão premium, muito provavelmente é 1000 ou 980, acho que ele só quis desincentivar o uso de IA em provas
Eu trabalho com modelagem de risco em um banco nos EUA. Outro dia eu tive que resolver um sistema de equações diferenciais que provavelmente eu demoraria 5 horas na mão para resolver e gastaria umas 100 folhas de papel. O chatgpt resolveu de primeira.
@@GamGam-v5g , é como aquela história do cara que cobra $100 para apertar um parafuso pq sabe qual parafuso apertar. Qualquer aluno de graduação em matemática, finanças, economia, engenharia no Brasil sabe resolver um sistema de equações diferenciais. Difícil é saber qual sistema resolver, traduzir o problema para uma abordagem matemática. E outra, eu obviamente tive que validar a resposta do chatgpt.
Com certeza vale testar em matemática, que é onde erros podem ser mais prejudiciais para quem usa o ChatGPT profissionalmente. Outro ponto é que em matematica não é apenas conta, mas interpretação das questões e isso pode ser bastante interessante.
Eu testei questões de lógica, essas de entrevistas de emprego online, com o chatgpt gratuito, errou praticamente a metade das questões. Mas confesso que eu queria mais testes entre elas
Submetam também a segunda prova do Enem ao mesmo processo de análise. Foi muito interessante esse teste é comparação que vocês fizeram...Parabéns a todos do Manual do Mundo!
Poxa, como doutorando e futuro professor, eu coloco as questões que levo aos meus alunos nas IA gratuítas (Gemini e ChatGPT) acertividade é menor de 50% quando as questões são contextualizadas, e são de em torno de 80% para as questões diretas, tipo "Calcule o volume do sólido limidado pelas curvas blá blá", porém, estão aprendendo e desenvolver o raciocínio, ainda erram muito! E com algumas correções como "na verdade o intevalo de x é blá blá blá e não o que você definiu" elas estão resolvendo! O aprendizado delas está, de certo modo, me surpreendendo!
7:25 pelo contrário Iberê, se você acertar questões que ninguém acertas ( difíceis ) e erras as que todo mundo acerta ( fáceis) a TRI entende que você acertou pelo chute e sua nota diminui.
pois é, por vezes a pessoa erra uma fácil por deixar passar algo importante (por causa do tempo) e acerta uma difícil porque dedicou mas tempo à questão. Complicado.
@@BarbaraSantos-yf2dd mas se vc ta acertando tudo as mais difíceis valem mais não ? Ou na verdade todas valem a mesma coisa? Imagino que só para quem era um monte de questões fáceis que o sistema vai considerar que é chute e tirar a nota.
@@AkariKurosaki o sistema n tira nota, mas a questão pontua menos, se ela valia 20, passa a valer 15. por exemplo caso você erre uma fácil e acerte uma difícil, a difícil que valia 20, passa a valer 15
Acho legal por ele para responder a parte de exatas. Digo isso pq já o usei assim uma vez. Não sabia como iniciar a resolução de um problema de física e o ChatGPT entendeu o problema e começou legal, mas errou COMPLETAMENTE do meo para o final, dando até uma resposta incoerente com a própria conta. Ainda assim me ajudou, pois partindo do raciocínio dele consegui realizar a questão corretamente
Iberê eu tenho o kit de 85 experimentos do manual do mundo e tbm tenho o grande livro de ciências e eu quero as enciclopédias para curiosos ❤❤❤ E tem mais um vídeo para explodir nossa cabeça com muitos conhecimentos.
Tanto o chatGPT quanto às outras IAs, servem pra fazer muitos vídeos interessantes sobre os mais variados temas, continua Iberê ! E segue as dicas que o pessoal está comentando nesse vídeo.
Obrigada por esse vídeo, Iberê e equipe! E sim, precisamos saber como a máquina performa em matemática, porque foi o índice que mais caiu em aprendizagem no último PISA.
7:30 no caso é o contrário, se a pessoa acertar questões fáceis ganha mais ponto e se acertar questões difíceis ganha menos ponto. Foi falha a sua informação, Manual do Mundo.
Não sei como foi a questão da correção do texto pelo professor, mas seria legal mandar para mais de um sem avisar que é de IA (pq tem uma boa parte que acaba "torcendo o nariz" para as IAs e isso pode ter enviesado a nota). Mas show DEMAIS essa nova nota geral do GPT. Ele têm melhorado muito ao longo do tempo (até de maneira exponencial). Eu tenho usado bastante para resolver lógicas de banco de dados que as vezes estou travado para pensar uma solução. Vale muito ter a versão paga.
O professor pode muito ter "torcido o nariz" por ser texto de IA como o professor pode muito bem não ter tido o conhecimento de que era texto do ChatGPT e ter "torcido o nariz" por acreditar ser texto de Geração Z. Já ouvi muito esse papinho de falta de personalidade e repertório social-cultural vindo de entrevistador de empresa pra não contratar Geração Z.
Olá Ibere, recomendo você refazer usando esse teste usando uma IA brasileira, desenvolvida por pesquisadores da UNICAMP, a IA da Maritaca, o modelo Sábia, ele se sai melhor que o ChatGPT para língua portuguesa, inclusive em testes feitos se sai melhor no enem também! Além disso recomendação é vocês irem individualmente em cada pergunta ao invés de tentar fazer ele responder várias de uma vez, principalmente nas perguntas com imagem.
Boa sugestão. Mas pelo que encontrei nas perguntas frequentes no site deles, acho que na verdade parte do time é ou era aluno ou pesquisador da UNICAMP, apesar da empresa não ter vínculo formal com a universidade.
Para a segunda parte, peguem essa versão e coloquem a avaliação do professor, depois corrijam novamente para ver se a nota aumenta, seria legal contextualizar melhor o prompt também, sober o que ele é. E comparem várias inteligencias.
O Manual pensa em tudo. Cria até mesmo uma metodologia para um teste de IA. Mais um vídeo incrível! E com certeza queremos um vídeo do ChatGPT tentando resolver a prova de matemática sim e quem sabe a prova de ciências da natureza também.
mas não adiantou de nada, ele tá testando a versão gratuita e não a paga, a paga coloquei pra fazer testes de admissão de matemática e física de oxford fez os dois acertando tudo
@@Kairus_444 deu pra ver no vídeo que eles usaram a versão paga pq aparece a opção de 'busca na internet' que só tem na versão paga. {aquele globinho que aparece no campo do rpompt]
Os erros podem ser pelo OCR e por questões de imagens, como mencionado. Já sobre a Redação, vai depender muito do Prompt que se coloca para se parecer mais com um humano... Eu quero ver quando os agentes de IA segmentados forem apresentados numa suposta atualização de dezembro
Além de testar com matemática podiam testar usando o Gemini no plano pago para ver como ele se sai. Confesso que hoje uso mais o ChatGPT do que o Gemini, mas por que nos planos gratuitos o ChatGPT é melhor (para mim).
Excelente vídeo. Só uma pequena correção. A TRI valoriza mais o acerto de questões "fáceis", aquelas que muitos acertaram, e desvaloriza as "difíceis", não o contrário.
Super interessante a análise e o desafio! Fico pensando como seria o resultado se fosse utilizada a API em um contexto pergunta a pergunta. Acredito que o resultado possa ser melhor considerando que o modelo pode ficar menos propenso a alucinações ou perda geral de janela de contexto.
Ibere, Imagino que seja possível melhorar a qualidade das respostas e até da redação escolhendo modelos mais avançados e calibrando com prompts e algumas opções mais avançadas (q não são visíveis no chatgpt plus mas sim para desenvolvedores) como por exemplo... para ele ser mais objetivo ou mais aberto a criatividade. De qualquer forma, daqui a um tempo até modelos mais básicos conseguirão resolver melhor.
Iberê, acredito que vale muito a pena testar na segunda fase. Tenho usado bastante o ChatGPT para produção de textos técnicos e tenho percebido que ele tem melhorado muito em assuntos como legislação brasileira. Ele eliminou muito do trabalho pesado da digitação, concatenção e organização do texto, sobrando apenas uma intervenção no sentiodo de corrigir incongruencias ou contradições no texto gerado. Ver o quanto ele pode interpretar e corrigir acertadamente questões ajuda no grau de certeza do que estou recebendo quando peço a produção de um texto assim.
Eu uso MUITO o ChatGPT ele cria textos para resdes sociais e para a interação com clientes de forma quase que brilhante. Erra MUITO mas é um excelente "ponto de partida" pra quando a gente tá sem muita idéia de como começar. E sim, quero a continuação e quem sabe até, botar o chat para fazer uns concursos públicos desses mais concorridos.
Eu acho muito legal esse tipo de conteúdo, mas faria um adendo sobre a AI na redação, a criação do texto vai de simples a algo rebuscado conforme a forma que você passa as instruções.
Seria extremamente interessante ver o desempenho do o1 no mesmo teste, inclusive no de redação! Além disso, fazendo um prompt mais interessante nesse segundo caso: anexar os critérios de correção e redações nota 1000 anteriores e comparar a diferença que isso faz. No geral, um experimento muito interessante!
Salve Ibere! O vídeo tá meio desatualizado, porque já existe um modelo melhor que o GPT-4o, que é o o1-Preview, disponível na versão paga. É tipo o GPT-4o só que com um raciocinio bem maior, usando uma tecnologia de quebrar a pergunta em várias partes, fazendo um raciocínio em cadeia.
deixaria uma sugestão para conhecimento e aprendizado: sobre a redação diz pro GPT refazer a redação usando as considerações do professor e pedir para o mesmo professor reavaliar a redação. seria interessante.
Li o texto gerado pelo GPT, talvez a nota fosse maior, mas nem tanto... A tese e os argumentos são fracos, muito senso comum. Para os modelos ENEM talvez não seja o ideal (ainda). O teste do pessoal do Manual do Mundo tentou ser o mais "simples possível", apenas entregando instruções simples para a IA. Para o objetivo do video atingiu bem. Mas seria possível melhorar essa nota de redação melhorando os prompts (repito, não era o objetivo do video), especificando o que ele deveria fazer e/ou quando. Para isso é preciso saber tanto de redação e também um pouco de engenharia de prompt (o objetivo do video é simular uma pessoal sem conhecimento algum sobre - ou preguiçoso).
@@yotozangue seriao que tu quer complicar algo simples? Sequer precisa saber engenharia de prompt kkkkkkkkk oq caralhos é isso? Digita ai prompt generator AI no google ou search chatgpt que teu 'engenheiro de prompt' vai pro ralo. Além disso, gostaria de pontuar que realmente conhecendo melhor o modelo de uma redação, a resposta seria muito mais sofisticada
@@gabrielferreira2751 kkkkkk como? Garanto que meu sobrinho de 3 anos só precisa pesquisar 'prompt generator ai' ou 'gerador de prompt inteligente' no google é acabou. Ele n precisou saber nd de prompt, isso é senso comum plmds
Usem o modelo o1-preview para a parte 2, ele é focado para exatas, e codigo vai ser mais assertivo comparado ao 4o E com relação ao texto da redação, acredito que pecaram no prompt, ele é capaz sim de ter um repertorio sóciocultural, se for ajustado e moldado com prompts que mais assertivos com relação ao esperado pela resposta
Iberê! Excelente! Vale e vale muito continuar com o segundo dia de prova. E sugiro testar outras LLMs como o Copilot por exemplo, onde você pode subir a imagem da questão e solicitar que seja feita a resolução. Nos testes que fiz acertou mais que o ChatGPT.
Só uma curiosidade tem vários prompts que melhoram a resposta do chat GPT, por exemplo, prompts de redação, isso faz ele dar uma resposta mais completa e bem superior as que ele já te responde e bem legal
8:04 esse prompt q vc construiu para criar a redação é um prompt simples e pouco trabalhado, e como a engrenagem principal das IA's é o prompt, era prevísivel q o resultado não seria um dos mais excelentes. eu mesmo tenho um prompt próprio pro ChatGPT criar redações com repertório e tudo mais, e ele consegue fazer redações nota 900+ tranquilamente
Ibere. Faz video explicando como funciona aquela planta "Dorme-Dorme" na infancia brincava muito de encostar e ver ela fechando as folhas e depois abrindo.
Esse vídeo só reforçou a minha repugnância quanto ao ENEM. Uma prova que nem mesmo professores de cursinho (especialistas em ENEM) conseguem chegar a um consenso sobre quais são as respostas corretas não me parece um bom meio de avaliação
@@PauloCanedo cpm certeza , por isso a correção foi mais rígida, do contrário daria nota mais alta, as observações foi puxando a orelha da IA e exaltando o ser humano.
Iberê, um ponto muito importante para a ChatGPT é a engenharia de prompt. Hoje em dia é possível passar muito mais contexto para o chat, como sub-instruções antes de pedir para ele fazer algo. Podemos definir uma 'persona' para ele adotar ou um estilo de inspiração. Acredito que a nota dele na Redação possa subir muito se aplicar os conceitos da engenharia de prompt.
Esse cálculo da nota do enem está totalmente errado e ao contrário só pra avisar, se vc erra uma questão q "todo mundo acertou" sua nota despenca, as questões difíceis só são consideradas com uma grande pontuação quando vc acerta uma quantidade x de questões fáceis
Ei sobre a redação como e que foi pedida a redação ?? Pq se você falar para ele imaginar um personagem e você dar as características desse personagem e pedir para que ele escreva do ponto de vista do personagem sai uma redação diferente do que vc só pedir para ele fazer a redação de tal tema
@obladioblada6932 no caso não seria necessário mostrar as redações de pontuação alta e sim fazer com que o chat incorpore um formato de texto tipo falar pra ele que o personagem que vai escrever a redação e tem 20 anos e que viveu até os 7 na cidade de x na província de x e que se mudou para x onde teve tais experiência de vida e tem um sotaque típico de tal lugar e alguns tiques de escrita de alguma região ou época assim o chat consegue dar mais vida a redação
Iberê, o Guanabara do canal Curso em vídeo está fazendo um curso sobre Engenharia de Prompt, acredito que seria interessante um vídeo tratando sobre como um comando de Prompt melhorado alteraria essa nota da redação.
@@gabrielmachado913 negativo, um ser humano já sabe por padrão que deve fazer o texto de determinadas formas: criativo, gramaticalmente correto e afins, uma IA ela é feita para dar a resposta que terá maior chance de agradar o usuário, refinar o prompt é tu guiar ela a fazer algo com uma linha semelhante ao que um ser humano faria, seria com consulta caso fosse dado algum material externo, tipo um livro ou acesso a Internet.
@@Luiz-pog não, as pessoas não compreendem da mesma maneira o que deve ser feito são diferenças naturais, a IA também tem essas diferenças naturais é claro que se tu pegar um IA especializada para criação de redações ela vai ir melhor, da mesma maneira que se antes da redação alguém explicar para todos na sala exatamente o que deve ser feito, vai ter muito mais pessoas indo bem, e a IA tem acesso a livros e a conteúdo da Internet(ainda que não em tempo real) e vai saber filtrar melhor as informações que a maioria das pessoas.
A ideia de uma AI generativa é de criar é de aprender por conta própria, se você colocar o que é pra fazer ela acertaria, porém seria igual uma outra ia especializada em fazer redações do enem que foram programadas para fazer aquilo daquele jeito, daqui pra frente com certeza ela vai aprender a fazer essas redações por conta própria pelo meio de gerar conteúdo do zero
aqui vai uma dica sobre o chat gp! ele melhora cada vez conforme você faz as perguntas! e também pode ser utilizados PROMPTS para ele comecar de maneira melhor. ou seja se ele fizer outra prova desta contendo todo o aprendizado que teve dessa prova anterior chance e ainda mais alta dele acerta tudo! e se vc o corrigir sobre as resposta que ele errou isso o ajuda! ou seja ele e como uma criança genio que esta sempre aprendendo!
Esse professor que corrigiu a redação, SE NÃO SOUBESSE que estava corrigindo um ChatGpt daria nota 10 com certeza! Mas como sabia que estava dando nota para maquina ficou influenciado.
Mas o Iberê não disse se avisou ao professor que a redação era do GPT ou não. Não tem como ter certeza se foi apenas preconceito. Agora se você também corrige redações, pausou no momento que apareceu a redação do GPT no vídeo, corrigiu e acredita que ele merecia 1000 pela redação mesmo, então tudo certo 👍
Pelo que ele escreveu na resposta parecia não saber que era uma IA, ja que tem coisas como "O candidato apresenta..." Agora ele pode ter percebido durante a correção mesmo que o Iberê não tenha avisado e escreveu como se não soubesse Só daria pra saber com uma confirmação dos dois
Na minha opinião, não so merece uma continuação com ele respondendo a prova de exatas, mas também comparar com outras IAs, como Gemini e Meta AI.
Up
up man
Up
meta ia vai errar tudo kkkkkk
Tem q testar o Copilot da Microsoft e o Grok do Twitter também
Iberê, depois compara a performance das diferentes IA gratuitas. Quem será que tira a maior nota?
💚🎃🤯🩵🥳👏😮😁😄😃😀😆😅🥰😘😚😍🤩
Ou IAs open source como a llama, gpt-2 e o grok
Up
Mas já tem um ranking desse na internet
A maioria dessas plataformas utilizam os mesmos modelos, então não vai mudar muito. Você pode ver mais sobre isso pesquisando por Opem LLOM Leaderboard 2
Para redação recomendo que anexe a cartilha de redação com as competências de correção e modelos nota 1000 de anos anteriores (tá no site do INEP) e peça para ele fazer com base nela. Vai sair bem melhor!
isso é verdade, em...
tbm da pra pedir q use um vocabulario mais formal
Exatamente. Ou fazer um prompt melhor, com certeza ele faria uma redação melhor.
E colocar os textos motivadores também
Eu fiz isso e ficou bem melhor, ficou mais impactante
Iberê em 7:29 tem um detalhe importante, é o exato oposto, é muito melhor acertar uma que todo mundo acerta e errar uma que todo mundo erra, esse o melhor cenário, a TRI é criticada justamente por isso
Simmm. A ideia da TRI é não beneficiar chutes, então ela tende a punir quem acerta assunto complexo mas erra básico. Seria bom se ele fixasse um comentário com essa correção
Isso é verdade, logo que ele comentou eu já percebi esse erro, são classificados em 3 tipos de perguntas, fáceis, medias e difícil
Se você acertar muitas fáceis e errar as difíceis, sua nota será maior, se acerta as difíceis e errar a fáceis é contabilizado como chute e você perde ponto por isso
eu acho mt paia, pq a ideia de dificuldade é meio q individual
Perfeito
Up
Oi Iberê, acho muito importante esses tipos de vídeo sobre IA
Também acho
Também
De fato é importante mas deveria ser feito com mais cuidado. Ele acabou repetindo uma falácia comum sobre IAs.
Incrível!! Vi o Iberê no lançamento do livro sábado em Goiânia, falei que faço IA e que não ando confiando muito no GPT, ele me disse que gravariam fazendo esse teste. Só não achei que seria TÃO rápido 😂
Quando a pessoa não acredita que encontra a colega de turma nos comentários. 😂 Ótimo comentário, por sinal. 😊
@@fabianocaetanodesouza2247 🤣🤣🤣, acompanho todos os videos do Manual do Mundo, sempre estou por aqui kkkk
@@fernandabufon7954 você faz IA onde? Sou de Anápolis
pq não anda cofiando mt no chatgpt?
Eu uso muito o GPT para programação, é uma ferramenta absurda, muitas vezes coisas que demorariam horas, fica pronta em poucos minutos, existe sim a questão da possibilidade de erro, mas para isso eu estou ali para checar.
resumindo se faz necessário o conhecimento para checar....
@lecinagomespivotto3095 sim, eu tenho o conhecimento só que programar tudo isso demora muito, na minha visão, o GPT está ali para agilizar e me ensinar algo novo
Exatamente. Principalmente pra coisas simples que levariam um bom tempo para escrever, como criar uma model de uma tabela com mais de 100 colunas, levaria uns bons minutos além da chance de cometer um erro ser grande. Com o GPT é só mandar a tabela e em 10 segundos a model está pronta e perfeita. Fora encontrar bugs que levariam horas e o gpt consegue identificar no código e poupar um esforço enorme
Eu gostaria de um duelo entre chat GPT e Gemini AI
Acho q o chat gpt é mais avançado
Compensa mais fazer um duelo entre Chat GPT e Claude mais avançado
Eles são os melhores até então. Gemini, Meta Ai etc são fraquinhos ainda
É tipo colocar um adulto e um bebê pra lutar, n tem sentido
Tem vídeo deles jogando xadrez um contra o outro
@@daniboy1760 Sem que eles saibam!
Oi Iberê sou seu fã, tenho apenas agradecimentos ao seu canal.
Vc me motiva cada dia mais para eu me tornar um engenheiro químico.
Adoro o seu canal
Se vc ver esse comentário tenha orgulho de si mesmo, vc motiva gerações.
Fiquei curioso quanto a redaçao. Seria legal se o Iberê informasse ao ChatGPT o que foi dito na análise feita pelo avaliador e pedisse pra ele reescrever a redação, melhorando-a com base no que foi dito.
E já que a avaliação pode ser subjetiva. Se tivesse uma parte 2 desse video ou no ENEM do ano que vem, acho que seria interessante melhorar o método científico. Como, por exemplo, mandar redações de bons alunos (ou até escritores e jornalistas) misturado com redações feitas pelo ChatGPT. Já que o simples fato de saber que foi feito por um robô, pode influenciar na avaliação.
Up
Up
@@BatMouse-1989 verdade ! 👍
provavelmente não ia mudar muita coisa, pois a IA não pode estabelecer um posicionamento mto forte sobre nada, eu nunca vi um texto de IA com personalidade
Real, e o chat GPT facilmente tira nota boa se o assunto é redação.
Se o chat for a versão premium, muito provavelmente é 1000 ou 980, acho que ele só quis desincentivar o uso de IA em provas
Iberê, sobre a redação, tem como mostrar qual foi o prompt? Porque é essencial você "personificar" o gpt para trazer essas nuances de redação.
tá na descrição.
Eu trabalho com modelagem de risco em um banco nos EUA. Outro dia eu tive que resolver um sistema de equações diferenciais que provavelmente eu demoraria 5 horas na mão para resolver e gastaria umas 100 folhas de papel. O chatgpt resolveu de primeira.
So que se esse é o seu único trabalho ou que se destaca no seu trabalho pode ser que vão perceber isso uma hora ou outra
@@GamGam-v5g , é como aquela história do cara que cobra $100 para apertar um parafuso pq sabe qual parafuso apertar. Qualquer aluno de graduação em matemática, finanças, economia, engenharia no Brasil sabe resolver um sistema de equações diferenciais. Difícil é saber qual sistema resolver, traduzir o problema para uma abordagem matemática. E outra, eu obviamente tive que validar a resposta do chatgpt.
@@pricardoso4189 ata então tu tá Dboa, bom que seu chefe não tem graduação em modelagem de risco
Com certeza vale testar em matemática, que é onde erros podem ser mais prejudiciais para quem usa o ChatGPT profissionalmente. Outro ponto é que em matematica não é apenas conta, mas interpretação das questões e isso pode ser bastante interessante.
Na biologia também, já que na biologia não existe exatidão e tudo é variável.
@@WenderVFX para ia e bem mais facil
Eu testei questões de lógica, essas de entrevistas de emprego online, com o chatgpt gratuito, errou praticamente a metade das questões. Mas confesso que eu queria mais testes entre elas
Submetam também a segunda prova do Enem ao mesmo processo de análise. Foi muito interessante esse teste é comparação que vocês fizeram...Parabéns a todos do Manual do Mundo!
Poxa, como doutorando e futuro professor, eu coloco as questões que levo aos meus alunos nas IA gratuítas (Gemini e ChatGPT) acertividade é menor de 50% quando as questões são contextualizadas, e são de em torno de 80% para as questões diretas, tipo "Calcule o volume do sólido limidado pelas curvas blá blá", porém, estão aprendendo e desenvolver o raciocínio, ainda erram muito!
E com algumas correções como "na verdade o intevalo de x é blá blá blá e não o que você definiu" elas estão resolvendo! O aprendizado delas está, de certo modo, me surpreendendo!
7:25 pelo contrário Iberê, se você acertar questões que ninguém acertas ( difíceis ) e erras as que todo mundo acerta ( fáceis) a TRI entende que você acertou pelo chute e sua nota diminui.
pois é, por vezes a pessoa erra uma fácil por deixar passar algo importante (por causa do tempo) e acerta uma difícil porque dedicou mas tempo à questão.
Complicado.
A nota nunca diminui por acertar no ENEM, ela só aumenta menos
@@BarbaraSantos-yf2dd mas se vc ta acertando tudo as mais difíceis valem mais não ? Ou na verdade todas valem a mesma coisa?
Imagino que só para quem era um monte de questões fáceis que o sistema vai considerar que é chute e tirar a nota.
@@AkariKurosaki o sistema n tira nota, mas a questão pontua menos, se ela valia 20, passa a valer 15. por exemplo caso você erre uma fácil e acerte uma difícil, a difícil que valia 20, passa a valer 15
mas e se eu tiver acertando as difíceis sem chutar e errando as fáceis por desatenção?
Trás a continuação com a prova do segundo dia também por favor!!!
Acho legal por ele para responder a parte de exatas. Digo isso pq já o usei assim uma vez. Não sabia como iniciar a resolução de um problema de física e o ChatGPT entendeu o problema e começou legal, mas errou COMPLETAMENTE do meo para o final, dando até uma resposta incoerente com a própria conta. Ainda assim me ajudou, pois partindo do raciocínio dele consegui realizar a questão corretamente
Iberê, coloca o Chat GPT pra resolver a prova do ITA
Iberê eu tenho o kit de 85 experimentos do manual do mundo e tbm tenho o grande livro de ciências e eu quero as enciclopédias para curiosos ❤❤❤
E tem mais um vídeo para explodir nossa cabeça com muitos conhecimentos.
Vai ser ótimo ver no da semana que vem!
Tanto o chatGPT quanto às outras IAs, servem pra fazer muitos vídeos interessantes sobre os mais variados temas, continua Iberê ! E segue as dicas que o pessoal está comentando nesse vídeo.
UP!
Obrigada por esse vídeo, Iberê e equipe! E sim, precisamos saber como a máquina performa em matemática, porque foi o índice que mais caiu em aprendizagem no último PISA.
Amo esse canal
Melhor curso no you tube , tem aula completa, GUSTAVO GUANABARA, ENCINA DO DO ZERO MESMO
Ô Iberê SENSACIONAL HEIN!!!
7:30 no caso é o contrário, se a pessoa acertar questões fáceis ganha mais ponto e se acertar questões difíceis ganha menos ponto. Foi falha a sua informação, Manual do Mundo.
Excelente vídeo, mais uma vez. Parabéns!
Não sei como foi a questão da correção do texto pelo professor, mas seria legal mandar para mais de um sem avisar que é de IA (pq tem uma boa parte que acaba "torcendo o nariz" para as IAs e isso pode ter enviesado a nota).
Mas show DEMAIS essa nova nota geral do GPT. Ele têm melhorado muito ao longo do tempo (até de maneira exponencial). Eu tenho usado bastante para resolver lógicas de banco de dados que as vezes estou travado para pensar uma solução. Vale muito ter a versão paga.
O professor pode muito ter "torcido o nariz" por ser texto de IA como o professor pode muito bem não ter tido o conhecimento de que era texto do ChatGPT e ter "torcido o nariz" por acreditar ser texto de Geração Z.
Já ouvi muito esse papinho de falta de personalidade e repertório social-cultural vindo de entrevistador de empresa pra não contratar Geração Z.
Vale muito testar matemática próximo domingo!! Top d mais o video
Muito interessante! Com certeza quero ver o resultado para prova de exatas.
Olá Ibere, recomendo você refazer usando esse teste usando uma IA brasileira, desenvolvida por pesquisadores da UNICAMP, a IA da Maritaca, o modelo Sábia, ele se sai melhor que o ChatGPT para língua portuguesa, inclusive em testes feitos se sai melhor no enem também! Além disso recomendação é vocês irem individualmente em cada pergunta ao invés de tentar fazer ele responder várias de uma vez, principalmente nas perguntas com imagem.
Boa sugestão. Mas pelo que encontrei nas perguntas frequentes no site deles, acho que na verdade parte do time é ou era aluno ou pesquisador da UNICAMP, apesar da empresa não ter vínculo formal com a universidade.
@@projetoesparta é isso mesmo, eu que me confundi! São da unicamp
EXCELENTE VÍDEO, MELHOR CANAL DO RUclips BY FAR
Para a segunda parte, peguem essa versão e coloquem a avaliação do professor, depois corrijam novamente para ver se a nota aumenta, seria legal contextualizar melhor o prompt também, sober o que ele é. E comparem várias inteligencias.
Rapaz, plantão sensacional do Manual! E em matemática, essa eu (que sou péssimo) quero ver também!
O Manual pensa em tudo. Cria até mesmo uma metodologia para um teste de IA. Mais um vídeo incrível! E com certeza queremos um vídeo do ChatGPT tentando resolver a prova de matemática sim e quem sabe a prova de ciências da natureza também.
mas não adiantou de nada, ele tá testando a versão gratuita e não a paga, a paga coloquei pra fazer testes de admissão de matemática e física de oxford fez os dois acertando tudo
@@Kairus_444 deu pra ver no vídeo que eles usaram a versão paga pq aparece a opção de 'busca na internet' que só tem na versão paga. {aquele globinho que aparece no campo do rpompt]
Iberê traz mais vídeos assim, muitooooo interessante!! Você é nota 1000
Os erros podem ser pelo OCR e por questões de imagens, como mencionado. Já sobre a Redação, vai depender muito do Prompt que se coloca para se parecer mais com um humano... Eu quero ver quando os agentes de IA segmentados forem apresentados numa suposta atualização de dezembro
Parabéns pelo conteudo Iberê.
Além de testar com matemática podiam testar usando o Gemini no plano pago para ver como ele se sai.
Confesso que hoje uso mais o ChatGPT do que o Gemini, mas por que nos planos gratuitos o ChatGPT é melhor (para mim).
Parte 2 daquele vídeo? Genial
Que seu dia seja perfeito e seu desejo seja realizado
Excelente vídeo. Só uma pequena correção. A TRI valoriza mais o acerto de questões "fáceis", aquelas que muitos acertaram, e desvaloriza as "difíceis", não o contrário.
8:53 Sobre a questão da personalidade, dava de pedir para ele intrepertar uma pessoa dizendo o genero, cultura e etc, ai a maneira da escrita muda.
Super interessante a análise e o desafio! Fico pensando como seria o resultado se fosse utilizada a API em um contexto pergunta a pergunta. Acredito que o resultado possa ser melhor considerando que o modelo pode ficar menos propenso a alucinações ou perda geral de janela de contexto.
Ibere, Imagino que seja possível melhorar a qualidade das respostas e até da redação escolhendo modelos mais avançados e calibrando com prompts e algumas opções mais avançadas (q não são visíveis no chatgpt plus mas sim para desenvolvedores) como por exemplo... para ele ser mais objetivo ou mais aberto a criatividade.
De qualquer forma, daqui a um tempo até modelos mais básicos conseguirão resolver melhor.
Em breve a OpenAI vai lançar o modelo mais poderoso deles. Aí sim estaremos com problemas. Essa IA está melhorando rápido.
Iberê, acredito que vale muito a pena testar na segunda fase. Tenho usado bastante o ChatGPT para produção de textos técnicos e tenho percebido que ele tem melhorado muito em assuntos como legislação brasileira. Ele eliminou muito do trabalho pesado da digitação, concatenção e organização do texto, sobrando apenas uma intervenção no sentiodo de corrigir incongruencias ou contradições no texto gerado. Ver o quanto ele pode interpretar e corrigir acertadamente questões ajuda no grau de certeza do que estou recebendo quando peço a produção de um texto assim.
Na redação do ENEM, se tivesse informado os critérios de avaliação da redação para o ChatGPT, certamente, ele teria ido muito melhor.
tb acho
CARAMBA, acompanho esse canal desde de muito pequeno, eu adorava o submarino, via toda hora na tv da minha mãe, muita nostalgia
Creio que na redação, voce poderia pontuar essas coisas que o professor falou. garanto que ele iria arrumar e tirar 1000 ou quase.
Eu uso MUITO o ChatGPT ele cria textos para resdes sociais e para a interação com clientes de forma quase que brilhante.
Erra MUITO mas é um excelente "ponto de partida" pra quando a gente tá sem muita idéia de como começar.
E sim, quero a continuação e quem sabe até, botar o chat para fazer uns concursos públicos desses mais concorridos.
Eu acho muito legal esse tipo de conteúdo, mas faria um adendo sobre a AI na redação, a criação do texto vai de simples a algo rebuscado conforme a forma que você passa as instruções.
Quero ver com a parte de matemática tbm. Um duelo entre as IAs tbm seria legal
Recebi a notificação e já entrei, porque lembrei do seu primiero vídeo do enem, estou curioso para ver se o gpt vai conseguir 😊
Seria extremamente interessante ver o desempenho do o1 no mesmo teste, inclusive no de redação! Além disso, fazendo um prompt mais interessante nesse segundo caso: anexar os critérios de correção e redações nota 1000 anteriores e comparar a diferença que isso faz. No geral, um experimento muito interessante!
Salve Ibere! O vídeo tá meio desatualizado, porque já existe um modelo melhor que o GPT-4o, que é o o1-Preview, disponível na versão paga. É tipo o GPT-4o só que com um raciocinio bem maior, usando uma tecnologia de quebrar a pergunta em várias partes, fazendo um raciocínio em cadeia.
Agora que vi que o carinha falou do o1, mas eu acho que vocês decidiram não utilizar, por conta das imagens
Acho que ele usasse o GrokAI tbm teria resultados melhores porque esse modelo da xAi tem 300 bilhoes de parametros enquanto o 4o tem 150 bilhoes.
@@yOkay_ o gemini tem mt + e a burrice dele e incrivel
@@yOkay_ O GPT-4o ainda lidera os benchmarks, mas claro, ainda está atrás do o1
@@otetdotdmg gemini é pior de todos
Iberê, pode fazer um vídeo ensinando como pintar plástico transparente sem perder a translucidez?
deixaria uma sugestão para conhecimento e aprendizado: sobre a redação diz pro GPT refazer a redação usando as considerações do professor e pedir para o mesmo professor reavaliar a redação. seria interessante.
Gosto muito do canal e sempre assisto os vídeos novos!
Eu acredito que SE o professor de portugues NAO soubesse que era o chat gpt, provavelmente teria dado uma nota maior...
Li o texto gerado pelo GPT, talvez a nota fosse maior, mas nem tanto...
A tese e os argumentos são fracos, muito senso comum. Para os modelos ENEM talvez não seja o ideal (ainda).
O teste do pessoal do Manual do Mundo tentou ser o mais "simples possível", apenas entregando instruções simples para a IA. Para o objetivo do video atingiu bem.
Mas seria possível melhorar essa nota de redação melhorando os prompts (repito, não era o objetivo do video), especificando o que ele deveria fazer e/ou quando. Para isso é preciso saber tanto de redação e também um pouco de engenharia de prompt (o objetivo do video é simular uma pessoal sem conhecimento algum sobre - ou preguiçoso).
@@yotozangue seriao que tu quer complicar algo simples?
Sequer precisa saber engenharia de prompt kkkkkkkkk oq caralhos é isso? Digita ai prompt generator AI no google ou search chatgpt que teu 'engenheiro de prompt' vai pro ralo. Além disso, gostaria de pontuar que realmente conhecendo melhor o modelo de uma redação, a resposta seria muito mais sofisticada
@@toukyJK ou seja, a pessoa vai precisar ao minimo saber que precisa melhorar o prompt, logo precisa entender de prompt🙃
@@gabrielferreira2751 kkkkkk como? Garanto que meu sobrinho de 3 anos só precisa pesquisar 'prompt generator ai' ou 'gerador de prompt inteligente' no google é acabou. Ele n precisou saber nd de prompt, isso é senso comum plmds
E a msm coisa de eu perguntar ao chatgpt, como melhorar o meu prompt. Eu precisei entender de prompt pra isso? Claro que n
Faz o de matemática também Iberê!
Essas resoluções é bom para compararmos o avanço e verificarmos as inteligências artificiais para saber qual está mais desenvolvidas.
Iberê faz um vídeo indo pra billund, Dinamarca, pra ver como é feito os minifigures e lego's como eles são feitos
Melhor canal
Faz teste com o Claude! The best!
Fala, Iberê!!!!
Bom vídeo. Faz do segundo dia tbm!
Usem o modelo o1-preview para a parte 2, ele é focado para exatas, e codigo
vai ser mais assertivo comparado ao 4o
E com relação ao texto da redação, acredito que pecaram no prompt, ele é capaz sim de ter um repertorio sóciocultural, se for ajustado e moldado com prompts que mais assertivos com relação ao esperado pela resposta
Merece continuação
Iberê! Excelente! Vale e vale muito continuar com o segundo dia de prova. E sugiro testar outras LLMs como o Copilot por exemplo, onde você pode subir a imagem da questão e solicitar que seja feita a resolução. Nos testes que fiz acertou mais que o ChatGPT.
Adoro seus vídeos, apredi a assistir quando meu filho tinha uns 7 anos e me chamava pra assistir e hoje ele tem 25 anos e ainda assistimos.....❤
As contas não batem moça kkkkk
talvez devesse ser 15@@LucasRodrigues-tg5pc
Só uma curiosidade tem vários prompts que melhoram a resposta do chat GPT, por exemplo, prompts de redação, isso faz ele dar uma resposta mais completa e bem superior as que ele já te responde e bem legal
magnífico, enorme a importância de explicitar que IA não é rei mas que a tecnologia está disponível p. atingirmos muito mais :)
8:04 esse prompt q vc construiu para criar a redação é um prompt simples e pouco trabalhado, e como a engrenagem principal das IA's é o prompt, era prevísivel q o resultado não seria um dos mais excelentes. eu mesmo tenho um prompt próprio pro ChatGPT criar redações com repertório e tudo mais, e ele consegue fazer redações nota 900+ tranquilamente
Vc criou esse prompt ou encontrou?
@projetoesparta eu criei. não só ele como variações dele (acho q eu tenho uns 5~10 prompts pra criar redação)
Sim, testa com a prova de exatas também!
Faz a parte 2, com a provas de natureza e matemática. Da up pessoal, pra ele ver
Up
Up
Up
Up
Up
Apliquei o mesmo teste em provas do CFC (contabilidade) e deu exatamente o mesmo índice de acerto. 90%. Incrível a consistência!
Chatgpt nesse vídeo é um aluno qualquer do Japão fazendo o Enem kkk
Vídeo muito interessante, amo seu trabalho aqui no RUclips!!!
Sobre as questões que tem imagem, era melhor fazer elas uma de cada vez, colocando a imagem da questão. Pra ver qual o resultado
Professor Noslen, onde você estaaaaaa
Esse cara é brabo, me salvou lá em 2017
5:15 que começa de fato
Gênio, yt Premium
Não um herói que queremos, mas um que queremos
Ibere.
Faz video explicando como funciona aquela planta "Dorme-Dorme" na infancia brincava muito de encostar e ver ela fechando as folhas e depois abrindo.
Esse vídeo só reforçou a minha repugnância quanto ao ENEM. Uma prova que nem mesmo professores de cursinho (especialistas em ENEM) conseguem chegar a um consenso sobre quais são as respostas corretas não me parece um bom meio de avaliação
Ótimo para estudar, ele pode entregar resoluções comentadas das questões ; )
Mas é bom conferir, as vezes ele se equivoca.
Chatgpt vendo esse video : ...
Eita
O GrokAI vendo: tens qui cer u melior.
Manda a transcrição do vídeo para ele ler.
Vixe
Sobre reconhecimento de imagens, usaram o gpt para reconhecimento de imagens como o VisionIdentify GPT?
Oi iberê, sou um fã seu e acho que eu poderia fazer uma pergunta, existe outros planetas Terras para viver? 🌎
Acho que é importante mencionar se o professor que corrigiu a redação tinha conhecimento que se tratava de um texto feito pelo ChatGPT
@@PauloCanedo cpm certeza , por isso a correção foi mais rígida, do contrário daria nota mais alta, as observações foi puxando a orelha da IA e exaltando o ser humano.
@@felipefernando7881 exato
Sem dúvidas séria mais alta kk
Iberê, um ponto muito importante para a ChatGPT é a engenharia de prompt. Hoje em dia é possível passar muito mais contexto para o chat, como sub-instruções antes de pedir para ele fazer algo. Podemos definir uma 'persona' para ele adotar ou um estilo de inspiração. Acredito que a nota dele na Redação possa subir muito se aplicar os conceitos da engenharia de prompt.
É porque o ENEM "usa uma fórmula pronta" de redaqção. Quando o Chat GPT aprender isso, já era.
Vídeo top como sempre Iberê ❤
Esse cálculo da nota do enem está totalmente errado e ao contrário só pra avisar, se vc erra uma questão q "todo mundo acertou" sua nota despenca, as questões difíceis só são consideradas com uma grande pontuação quando vc acerta uma quantidade x de questões fáceis
Iberê, poderia fazer um vídeo explicando se é possível fazer com que o "cabelo branco" volte a ter sua tonalidade natural?
Ei sobre a redação como e que foi pedida a redação ??
Pq se você falar para ele imaginar um personagem e você dar as características desse personagem e pedir para que ele escreva do ponto de vista do personagem sai uma redação diferente do que vc só pedir para ele fazer a redação de tal tema
Sim, mostrar modelos de redações com pontuação máxima.
@obladioblada6932 no caso não seria necessário mostrar as redações de pontuação alta e sim fazer com que o chat incorpore um formato de texto tipo falar pra ele que o personagem que vai escrever a redação e tem 20 anos e que viveu até os 7 na cidade de x na província de x e que se mudou para x onde teve tais experiência de vida e tem um sotaque típico de tal lugar e alguns tiques de escrita de alguma região ou época assim o chat consegue dar mais vida a redação
Iberê, o Guanabara do canal Curso em vídeo está fazendo um curso sobre Engenharia de Prompt, acredito que seria interessante um vídeo tratando sobre como um comando de Prompt melhorado alteraria essa nota da redação.
Ué, mas se o ChatGPT conseguir gabaritar o Enem, ele é que não precisa de escola, a gente continua precisando...
@@raphaelleiteiro kkkkk pprt
Queremos ver o vídeo dele comparado a outras IA.
Na redação era só refinar o prompt colocando as competências que ele precisa cumprir, duvido que seria menor que 900
É uma prova não pode ter ajuda extra, refinar o prompt é prova com consulta.
@@gabrielmachado913 Mas a gente não estuda as competências pra fazer a redação?
@@gabrielmachado913 negativo, um ser humano já sabe por padrão que deve fazer o texto de determinadas formas: criativo, gramaticalmente correto e afins, uma IA ela é feita para dar a resposta que terá maior chance de agradar o usuário, refinar o prompt é tu guiar ela a fazer algo com uma linha semelhante ao que um ser humano faria, seria com consulta caso fosse dado algum material externo, tipo um livro ou acesso a Internet.
@@Luiz-pog não, as pessoas não compreendem da mesma maneira o que deve ser feito são diferenças naturais, a IA também tem essas diferenças naturais é claro que se tu pegar um IA especializada para criação de redações ela vai ir melhor, da mesma maneira que se antes da redação alguém explicar para todos na sala exatamente o que deve ser feito, vai ter muito mais pessoas indo bem, e a IA tem acesso a livros e a conteúdo da Internet(ainda que não em tempo real) e vai saber filtrar melhor as informações que a maioria das pessoas.
A ideia de uma AI generativa é de criar é de aprender por conta própria, se você colocar o que é pra fazer ela acertaria, porém seria igual uma outra ia especializada em fazer redações do enem que foram programadas para fazer aquilo daquele jeito, daqui pra frente com certeza ela vai aprender a fazer essas redações por conta própria pelo meio de gerar conteúdo do zero
aqui vai uma dica sobre o chat gp! ele melhora cada vez conforme você faz as perguntas! e também pode ser utilizados PROMPTS para ele comecar de maneira melhor. ou seja se ele fizer outra prova desta contendo todo o aprendizado que teve dessa prova anterior chance e ainda mais alta dele acerta tudo! e se vc o corrigir sobre as resposta que ele errou isso o ajuda! ou seja ele e como uma criança genio que esta sempre aprendendo!
se nem uma inteligência artificial gabarita o Enem, imagino nós meros mortais
Claro que vocês tem que testar a segunda parte. E sei que vão.
Esse professor que corrigiu a redação, SE NÃO SOUBESSE que estava corrigindo um ChatGpt daria nota 10 com certeza! Mas como sabia que estava dando nota para maquina ficou influenciado.
Mas o Iberê não disse se avisou ao professor que a redação era do GPT ou não. Não tem como ter certeza se foi apenas preconceito.
Agora se você também corrige redações, pausou no momento que apareceu a redação do GPT no vídeo, corrigiu e acredita que ele merecia 1000 pela redação mesmo, então tudo certo 👍
no caso nota 1000, também achei a redação boa em relação ao que eu me lembro quando fazia enem
Pelo que ele escreveu na resposta parecia não saber que era uma IA, ja que tem coisas como "O candidato apresenta..."
Agora ele pode ter percebido durante a correção mesmo que o Iberê não tenha avisado e escreveu como se não soubesse
Só daria pra saber com uma confirmação dos dois
@@universobarrado 760 da pra tirar decorando redação coringa
@@marcoshenriquepiovesan2095 É só pedir o chat pra decorar modelo pronto de redação coringa...