Se fosse um aluno, o ChatGPT teria uma pontuação média de 612,3 nas provas objetivas do Enem (Exame Nacional do Ensino Médio). Ele se sairia melhor do que 98,9% dos estudantes em ciências humanas e do que 95,3% em linguagens e códigos. No geral, superaria 78,9% dos candidatos.
O desempenho entre as disciplinas, no entanto, é desigual: o robô vai muito pior em matemática, superando só 27% dos participantes do exame. Sua performance em exatas seria o maior obstáculo para entrar em cursos disputados das principais universidades federais do país.
Os dados são de análise do DeltaFolha feita com base nas respostas da inteligência artificial (IA) em provas realizadas em cinco anos, de 2017 a 2021, a mais recente com pontuações individuais disponíveis publicamente, o que permite calcular a nota final do robô em cada área do conhecimento.
O ChatGPT respondeu a 1.290 questões. É um raro exemplo de estudo nessa escala avaliando a tecnologia em português.
Em relação a 2020 e 2021, foram consideradas as duas aplicações do exame em cada ano, que têm perguntas totalmente diferentes entre si.
O resultado do Enem não corresponde exatamente ao percentual de perguntas certas. Acertar questões difíceis e errar fáceis, por exemplo, pode ser entendido como chute, e isso reflete na nota final. A análise da Folha reproduziu esse cálculo, a fim de comparar diretamente a desenvoltura entre humanos e a IA.
Os testes avaliaram o GPT-3.5, a tecnologia da versão original do ChatGPT, usando ferramentas de análise de desempenho feitas pela OpenAI, criadora do robô.
Para a primeira aplicação da prova de 2021, a reportagem pediu que o sistema fizesse uma redação seguindo o mesmo enunciado da prova. Para simular a metodologia do Ministério da Educação, o texto foi corrigido por dois especialistas que utilizaram critérios do Enem. A nota média do robô foi 700 –melhor do que 68% dos estudantes, que tiveram 613 em média.
Somando a nota da redação à média das provas objetivas em 2021 (726,8 em ciências humanas, 606,2 em linguagens e códigos, 577 em ciências da natureza e 433,6 em matemática), a nota do ChatGPT no Enem foi 608,7.
O resultado é melhor do que o obtido por 79% dos alunos naquele ano –a média foi 535. Seria suficiente para garantir acesso a cursos como serviço social na Universidade Federal de Pernambuco e ciências sociais na Universidade Federal Fluminense.
As ciências humanas foram o ponto forte da IA. A média das notas dos cinco anos foi de 725,3, superior à de 523,3 pontos dos estudantes. Em 2017, com a melhor nota (785,3), o robô foi superado por somente 775 candidatos (entre 4,7 milhões).
O ChatGPT superou os concorrentes orgânicos também nas áreas de linguagem e de ciências naturais. A nota média foi de 641,4 (ante 516,1) e de 639,2 (ante 492,5), respectivamente.
Na comparação, os resultados nas provas de matemática são quase desoladores. Em média, o robô acumulou 443,1 pontos, abaixo dos 527,1 obtidos por candidatos reais. Acertou entre 13,6% e 27,3% das questões em cada aplicação –alguém que chutasse todas as respostas deveria acertar algo como 20%.
Folhapress
O Diário Caiçara é produzido por uma equipe capacitada que apura, publica e reproduz diariamente, dezenas de notícias sobre o Litoral Norte Paulista e outros conteúdos de relevância. Seguimos um rígido padrão editorial, com verificação cuidadosa de informações e compromisso permanente com a verdade. Nosso trabalho é pautado pela transparência, responsabilidade e pelo jornalismo sério que garante a credibilidade de tudo o que entregamos ao leitor. Diário Caiçara: em defesa do jornalismo profissional.
