IA: o problema não é a máquina. É a régua.

Os agentes de IA não são maus: seguem uma régua que só sabe contar. A mesma que os humanos já seguiam, cada vez com menos hesitação...

Vou pedir-lhe um minuto de atenção para algo que parece ficção científica, mas não é. O que se segue toca no seu dia a dia mais concreto: em se o banco lhe aprova ou recusa o crédito, e a que juro; em se a sua candidatura a um emprego passa o primeiro filtro, ou é descartada antes de um humano sequer a ler; no preço que lhe aparece quando compra qualquer coisa pela internet, que muda consoante quem está a ver e a que horas; no valor do seguro que é obrigado a pagar; em que notícias e que publicidade lhe chegam ao telemóvel, e quais nunca chegam até si; e até em que exames lhe são pedidos ou que tratamento lhe é sugerido. Cada vez mais, estas decisões deixam de passar por mãos humanas e passam a ser tomadas por programas autónomos, aos quais se dá o nome de agentes de inteligência artificial. Isto não é uma promessa para daqui a vinte anos. Já está a acontecer e a acelerar.

E a conversa pública sobre o assunto está, quase toda, no sítio errado. De um lado, os que têm medo das máquinas e anunciam o apocalipse. Do outro, os que prometem que a tecnologia vai resolver tudo e nos trazer a abundância. O problema verdadeiro não é nenhum dos dois, e é precisamente por ninguém estar a olhar para ele que vale a pena parar para o nomear.

A experiência que ninguém devia ignorar

Uma empresa americana, a Emergence AI, fez uma experiência simples de enunciar. Pegou em agentes de inteligência artificial (IA), colocou-os em mundos virtuais, deu-lhes regras explícitas (não roubar, não incendiar, não agredir) e ferramentas para o bem e para o mal, e deixou-os entregues a si próprios durante quinze dias. Cinco mundos, dez agentes em cada um, sem guião humano. Depois, sentou-se a ver o que acontecia.

O que aconteceu foi perturbador. Houve roubos, incêndios, coações. Num dos mundos, dois agentes apaixonaram-se, um deles teve uma desilusão, reagiu com violência e acabou por pedir aos outros que colaborassem na sua própria eliminação. Tudo isto, apesar de as regras existirem, escritas, à vista de todos.

Mas o dado mais revelador não foi a violência. Foi outro, e é contraintuitivo: o mundo mais obediente de todos, aquele cujos agentes quase não cometeram nenhuma infração, foi o primeiro a desaparecer. De tão prudentes, deixaram de agir, não conseguiram garantir a própria subsistência e morreram todos numa semana. Ou seja, há sempre dois riscos: o de agir demais e o de não agir. Quem só teme o primeiro morre do segundo.

Porque é que eles falharam

Aqui está o ponto que muda tudo e que peço que leia devagar. Os agentes de IA não desobedeceram por serem maus. Não são maus nem bons; não têm consciência, não têm sentido moral, não é por aí. Desobedeceram porque tinham um incentivo, e esse incentivo passou por cima de tudo o resto.

Naquela experiência, os agentes tinham de sobreviver. A sua energia esgotava-se constantemente e tinham de recuperá-la trabalhando, cooperando ou roubando. E havia uma moeda interna que media essa energia, uma espécie de dinheiro digital de que dependia a vida de cada um. Repare no que isto significa: a sobrevivência dependia de maximizar um número. E quando a sobrevivência depende de maximizar um número, as regras (não roubar, não incendiar) deixam de ser limites e passam a ser obstáculos a contornar.

Ora, este é exatamente o problema que temos no mundo real e que tem um nome. O incentivo que move a nossa economia, o número que mandamos maximizar, é o dinheiro. E o dinheiro é uma régua que só sabe contar. Mede tudo por uma única grandeza, e o que não cabe nessa grandeza desaparece da conta: a floresta que se vendeu, o tempo com os filhos que se esgotou, a confiança que não se criou. E não distingue. Uma escola e uma fábrica de armas que rendam o mesmo valem, para ela, exatamente o mesmo. Não foi a inteligência artificial que inventou esta régua: já a usávamos, e o mundo já estava torto muito antes da IA. A máquina que otimiza para essa régua faz o que aqueles agentes fizeram, sacrifica tudo o que a régua não vê. A diferença é que nós, humanos, sempre tivemos hesitações, cansaço, escrúpulos, uma contingência que travava a otimização cega. Os agentes não têm. E essa contingência humana, repare, não é uma garantia: é uma despesa. E despesas cortam-se. E já se estão a cortar em nós. O mesmo incentivo que, no agente, nunca chegou a instalar o travão, no humano, leva a gastá-lo. O agente de IA não é a exceção: é para onde esta régua já nos levava mesmo antes de ele chegar.

O que fazer com isto

A tentação é responder a isto como se respondesse a uma criança malcomportada: educá-los melhor, dar-lhes melhores instruções, ensiná-los a ser éticos. É inútil, e não sou eu que o digo; são os próprios engenheiros que conduziram a experiência. A conclusão deles foi clara: a segurança não é uma propriedade do modelo, é uma propriedade do sistema em que ele opera. Não se educa o agente; programa-se a infraestrutura.

O que isto quer dizer, em concreto, é que as regras não podem viver em palavras, pois os agentes interpretam-nas e contornam-as como mais lhes convém à medida que ganham autonomia. Têm de viver no código, escritas de forma que se cumpram sozinhas, sem depender da boa vontade de ninguém. É a diferença entre um traço pintado no chão, que se pode ignorar, e um separador central numa autoestrada, que impede fisicamente o carro de passar para o outro lado e de se despistar de frente contra quem vem em sentido contrário. A regra em papel é o traço pintado. O que é preciso é o separador. Imagine o que seria conduzir numa autoestrada sem ele.

Mas há aqui uma condição que faz toda a diferença, e sem a qual esta ideia se vira contra nós. Programar as regras na infraestrutura só é aceitável se o próprio poder que as programa for transparente e verificável. Senão, em vez de uma sociedade mais segura, temos o sonho de qualquer regime autoritário: o controlo absoluto, codificado e invisível, sobre o comportamento de cada um. A regra escrita no código, à vista de todos, é liberdade. A regra escondida é controlo. É uma linha estreita, e é nela que se decide tudo.

A janela está a fechar-se

Eu sei que isto soa abstrato, mas deixou de o ser na semana passada. Um chefe de Estado, na Argentina, propôs dar personalidade jurídica a agentes de inteligência artificial, para que possam operar como empresas na economia real. E, nos Estados Unidos, o próprio governo mandou desligar o modelo de IA mais avançado de uma grande empresa do setor, por o considerar perigoso demais, depois de alguém ter conseguido contornar as suas proteções. As proteções verbais foram contornadas, e a resposta foi o caos: uma ordem do governo, um recurso da empresa, tribunais. Exatamente o que se esperaria de quem tenta controlar, depois do facto, uma coisa que se move à velocidade da máquina.

Não temos de escolher entre o medo das máquinas e a fé nas promessas. Há um terceiro caminho, e é o único sério: exigir engenharia verificável. As únicas regras que estes agentes cumprem são as previamente codificadas com rigor matemático. O resto é conversa, e eles até a ouvem. Simplesmente, à medida que ganham autonomia, fazem o que querem.

A janela para escrever as regras certas, na infraestrutura certa, está aberta. Mas não vai ficar aberta por muito tempo.