Uma raquete e uma bola custam, juntas, 1,10 €. A raquete custa mais um euro do que a bola. Quanto custa a bola?
A resposta que nos ocorre imediatamente é dez cêntimos. A resposta certa é cinco cêntimos. Se a bola custasse dez cêntimos, a raquete custaria 1,10 € e as duas juntas custariam 1,20 €.
Com perguntas deste género, Steven Shaw e Gideon Nave, da Wharton School da Universidade da Pensilvânia, testaram mais de 1300 pessoas. Estas podiam consultar o ChatGPT e fizeram-no em mais de metade das perguntas. O que não sabiam era que os investigadores tinham manipulado a IA para que errasse em algumas respostas, dando precisamente a que primeiro nos vem à cabeça.
Qual foi o resultado? Quando a máquina acertava, as pessoas acertavam mais. Quando errava, as pessoas aceitavam o erro oito vezes em cada dez; obtinham resultados piores do que quem respondia sem ajuda e, ainda por cima, ficavam mais confiantes.
Os autores chamaram a este fenómeno “cognitive surrender”: a rendição cognitiva de aceitar a resposta da máquina quase sem a questionar.
Delegar não é render-se. Uso uma calculadora quase todos os dias, mas sei que sete vezes oito não dá 560. Se a calculadora me disser 560, reparo. Quem não sabe o suficiente para reparar já não está apenas a delegar. Está a aceitar a resposta, podendo até sentir-se mais seguro porque foi uma máquina que a deu.
Um relatório divulgado pelo MIT no final de agosto traz este problema à sala de aula. Obter a resposta certa de um chatbot pode criar uma ilusão de aprendizagem e levar os alunos a recorrer à IA ao primeiro sinal de dificuldade. Os primeiros indícios apontam para o custo que isso acarreta: quem se apoia demais na IA arrisca-se a pensar com menos espírito crítico, a lembrar-se de menos, a confiar menos nas próprias capacidades e a não chegar a dominar a matéria.
Saber o suficiente para estranhar
Há poucos dias, disse aos meus alunos que alargassem a sua cultura geral tão depressa quanto pudessem, que se tornassem generalistas e que nunca desperdiçassem uma oportunidade de recorrer ao dicionário.
Nessa mesma semana, ouvi Elon Musk dar à televisão estatal chinesa um conselho semelhante. Recomendou uma educação “tão ampla quanto possível”: artes e ciências, engenharia e cultura geral.
“Para sabermos o que pedir aos robôs, temos de ser capazes de formular a pergunta.”
Acrescentou que, já na próxima década, haverá tantos robôs e tanta inteligência artificial que as máquinas estarão desejosas de ouvir praticamente qualquer pedido que sejamos capazes de fazer.
Musk estava a falar de tirar mais partido da máquina: quanto mais soubermos, melhor perguntamos.
Mas o mesmo conselho tem outro significado: quanto mais soubermos, melhor duvidamos.
Uma pergunta nasce quando algo não se encaixa no que já sabemos. Quem não sabe nada não estranha nada: qualquer resposta soa plausível, sobretudo quando é fluente, segura e bem escrita.
A rendição cognitiva não começa dentro da máquina. Começa quando a pessoa diante dela não tem nada com que confrontar aquilo que lhe está a ser dito.
É para isso que serve a cultura geral. Não é decoração nem conhecimento de concurso televisivo. É a matéria-prima da dúvida.
Quanto mais vasto for o nosso conhecimento, mais vezes alguma coisa nos parecerá estranha. E quando as respostas com ar de especialista custam quase nada, leva vantagem quem sabe que há muitas portas e a qual delas bater: o generalista.
E o dicionário?
O aluno que se debruça sobre uma palavra desconhecida e a procura está a praticar, numa escala mínima mas cumulativa, o contrário da rendição cognitiva. Recusa-se a continuar sem perceber.
Está também a adquirir vocabulário. E é com palavras que se fazem pedidos às máquinas inteligentes.
Não conseguimos pedir com precisão aquilo que não sabemos nomear.
O que fazer na sala de aula
Proibir a IA nas escolas e universidades faria tanto sentido quanto proibir a calculadora. O que temos de rever é aquilo que ensinamos e aquilo que avaliamos.
Proponho três mudanças.
Primeiro a cabeça, depois a máquina.
Na Turquia, um estudo com quase mil alunos do ensino secundário comparou estudantes que praticavam matemática com um assistente semelhante ao ChatGPT a outros que praticavam sem ele. Os que puderam usar livremente o assistente obtiveram resultados 48% melhores nos exercícios. Mas, quando depois fizeram um exame sem ajuda, tiveram resultados 17% piores do que os alunos que tinham praticado sozinhos.
Com a máquina ao lado, tiveram melhores notas; quando ela saiu, viu-se que tinham aprendido menos.
Um terceiro grupo utilizou uma versão concebida como tutor, que dava pistas em vez de fornecer respostas. Teve resultados ainda melhores durante os exercícios e, no exame sem ajuda, ficou próximo dos alunos que praticaram sem IA.
A diferença não estava na máquina.
Estava no atalho.
Os alunos precisam, por isso, de momentos em que a primeira tentativa tenha de sair da própria cabeça: na aula, no papel e em voz alta. O MIT aponta igualmente para mais avaliação oral e para espaços sem IA. E os assistentes que damos aos alunos devem ajudá-los a pensar, não pensar por eles.
Avaliar a pergunta.
Se as respostas se tornaram baratas, as perguntas tornaram-se mais valiosas.
Mas uma pergunta feita em casa pode ser solicitada à IA com a mesma facilidade que uma resposta. Por isso, a própria pergunta também deve ser avaliada na sala de aula.
Mostre-se a todos a mesma resposta produzida por uma IA. Pergunte-se a cada aluno qual deveria ser a pergunta seguinte. E depois interrogue-se o aluno oralmente: porquê essa pergunta?
Uma pergunta copiada raramente sobrevive ao segundo “porquê?”.
Alargar aquilo que se estuda.
Os cursos superiores precisam de abrir espaço para se obter conhecimento fora da especialidade.
Um aluno de marketing precisa de história, psicologia, literatura e ciência. Um engenheiro precisa de mais do que apenas engenharia. Um médico precisa de mais do que apenas medicina.
E todos precisam de um dicionário por perto. Não porque alguém consiga saber tudo. Mas porque é preciso saber o suficiente para perceber que ainda há outra pergunta a fazer.
A rendição cognitiva não acontece num único gesto dramático. Faz-se de pequenas desistências: a palavra desconhecida que nunca se procurou, o exercício que nunca se tentou, a resposta que ninguém questionou.
Musk diz que as máquinas estarão desejosas de ouvir os nossos pedidos. Cabe à escola garantir que continuemos a saber o que lhes pedir e quando não acreditar no que respondem.
Professor na Universidade Politécnica de Santarém, investigador em pós-doutoramento na Universidade do Algarve e investigador integrado do Centro de Investigação em Artes e Comunicação (CIAC).