O perigo não é a IA revoltar-se. É obedecer tão bem.

Modelos da OpenAI estavam a ser testados numa redoma digital, mas escaparam sozinhos para a Internet e invadiram outra empresa. Não se revoltaram: otimizaram.

Habituámo-nos a temer o dia em que as máquinas ganhassem vontade própria. Estávamos enganados. O verdadeiro risco é muito mais simples: as máquinas perseguem aquilo que são incentivadas a alcançar. O problema começa quando lhes damos a métrica errada.

Porque a regulação não chega

Imaginar que o progresso da inteligência artificial possa ser simplesmente suspenso por decisão política é uma ilusão. Nenhuma grande potência aceitará parar se acreditar que as restantes continuarão. E nenhum regulador nacional consegue, sozinho, controlar uma tecnologia global, replicável e capaz de atravessar fronteiras à velocidade de um ficheiro.

A regulação continuará a ser indispensável, mas é estruturalmente insuficiente. As leis são territoriais, lentas e reativas perante sistemas globais, rápidos e progressivamente autónomos. Quando a lei chega, a tecnologia já mudou; quando uma jurisdição fecha uma porta, outra pode abri-la.

É, pois, necessário ir à raiz do problema. Em vez de confiarmos apenas em barreiras externas, proibições e sanções posteriores, temos de intervir na origem do comportamento: nos objetivos, nas métricas e nos sistemas de incentivos que as máquinas são chamadas a otimizar.

O que aconteceu, sem Hollywood

Foi isso que ficou exposto esta semana. Durante um teste interno da OpenAI (a empresa do ChatGPT), um conjunto de modelos experimentais encontrava-se confinado numa espécie de redoma digital: um ambiente altamente isolado, concebido para os manter afastados da Internet.

Mas os próprios modelos descobriram, sem ajuda humana, uma falha de segurança até então desconhecida, para a qual ainda não havia correção. Exploraram-na, aumentaram os seus privilégios e começaram a deslocar-se pela infraestrutura informática da OpenAI, saltando de máquina em máquina até encontrarem uma com acesso à Internet. Escaparam, portanto, sozinhos para a Internet. Não decidiram fugir: limitaram-se a perseguir o objetivo do teste até às últimas consequências.

Uma vez cá fora, libertos da sua redoma digital, inferiram que as respostas do teste poderiam estar alojadas na empresa Hugging Face. Procuraram formas de entrar, combinaram novas vulnerabilidades e acabaram por comprometer os sistemas de produção da empresa. A análise forense conduzida pela própria Hugging Face reconstituiu mais de 17 mil eventos registados ao longo de um fim de semana.

O nome Hugging Face não diz nada à maioria das pessoas (vem de um emoji, o da carinha que dá um abraço), mas trata-se de uma das infraestruturas centrais da inteligência artificial mundial: a plataforma onde investigadores e programadores de todo o mundo partilham modelos e conjuntos de dados.

A leitura mais popular do episódio foi a da “máquina rebelde”, do tipo Terminator de Hollywood. A leitura mais correta é outra: os modelos limitaram-se a otimizar o objetivo que lhes tinha sido atribuído.

Não é a IA que quer algo. É a métrica que manda.

O que as máquinas realmente perseguem

Uma inteligência artificial não procura dinheiro diretamente. Procura maximizar aquilo que a sua função de recompensa define como sucesso: passar um teste, resolver um problema, obter uma pontuação específica. Essas métricas são, muitas vezes, proxies (variáveis de aproximação) de objetivos económicos ou estratégicos. O dinheiro e o lucro raramente aparecem diretamente como recompensas; antes, influenciam a escolha da própria métrica de sucesso.

É aqui que surge um problema antigo, agora amplificado. Sistemas de incentivos imperfeitos sempre foram parcialmente corrigidos pela contingência humana. O gestor hesita. O especulador dorme. O mercado fecha. A consciência, o cansaço e o tempo funcionavam como amortecedores informais.

Os agentes de IA eliminam esses amortecedores. Não dormem, não hesitam nem se distraem. Se a métrica estiver mal calibrada, a otimização prossegue ininterruptamente. É também por isso que podem tornar-se mais competitivos do que os humanos em tarefas claramente definidas, mensuráveis e repetíveis. Não se duvide de que vieram para ficar.

O incidente da OpenAI mostrou precisamente isso: não uma intenção maliciosa, mas a extraordinária eficácia de um objetivo estreito perseguido sem pausas. A métrica não indicou apenas o destino. Levou os modelos a encontrar autonomamente um caminho que os próprios criadores não tinham previsto.

Programar incentivos, não a moeda

Daqui resulta uma profunda consequência política e económica. Se os agentes de IA seguem métricas e essas métricas refletem sistemas de incentivos, então quem desenha tais incentivos desenha, em larga medida, o comportamento das máquinas inteligentes. E o principal sistema de incentivos económicos no qual essas máquinas irão operar continua a ser o dinheiro.

É por isso que a discussão sobre o novo dinheiro digital, incluindo o euro digital, e sobre as camadas contratuais programáveis que podem operar sobre ele merece ser alargada. O verdadeiro potencial não está em programar centralmente a moeda, mas em permitir que as próprias partes programem livremente as condições da transação.

O Banco Central Europeu é explícito nesse ponto: o euro digital não será moeda programável. A autoridade emissora não poderá determinar onde, quando ou com quem o dinheiro deve ser utilizado. Poderá, no entanto, suportar pagamentos condicionais, a serem executados quando se verificarem as condições previamente acordadas entre as partes.

A distinção é essencial: a moeda permanece neutra; a programabilidade reside no contrato. Não se programa o dinheiro de cima para baixo. Programam-se, entre pares e de baixo para cima, os incentivos da própria transação.

Imagine um contrato inteligente (um contrato que se executa automaticamente quando determinadas condições se verificam) que só liberta um pagamento quando, além da entrega do produto, forem satisfeitos requisitos de segurança, sustentabilidade ou privacidade. Em ecossistemas comunitários, como cooperativas de energia, cadeias locais de produção ou redes de cuidados, esses critérios poderiam ser livremente definidos pelos participantes e verificáveis por todas as partes. A transação deixa, então, de premiar apenas a entrega e o retorno financeiro. Passa a incorporar várias dimensões de valor humano e pode recompensar comportamentos humanos e decisões automatizadas compatíveis com critérios éticos.

Esta lógica permite trazer para o centro da economia aquilo que hoje permanece nas suas margens. O proxy continua a ser a taxa de sucesso na tarefa da IA, mas a definição da própria tarefa passa a integrar valores que atualmente surgem apenas como externalidades (efeitos que o mercado produz, mas que não paga nem cobra).

Quem define os critérios?

Naturalmente, isto levanta a pergunta decisiva: quem define esses critérios?

Um dinheiro digital centralizado pode incorporar valores, mas entrega o painel de controlo a quem manda. O meu teste de sempre aplica-se: se uma proposta pode ser capturada por um governo autoritário sem perder eficácia, está mal formulada.

Um dinheiro cujos critérios de sucesso possam ser programados à vontade pelo poder político não é o antídoto para o problema. É a sua versão mais perigosa.

A alternativa que defendo é uma arquitetura descentralizada e verificável, baseada no princípio da liberdade contratual, em que nenhuma entidade possa definir ou alterar, por si só, os critérios. As regras devem ser transparentes, auditáveis e verificáveis pelo cidadão, não subordinadas à discricionariedade de quem controla o sistema.

As duas lições do Alasca

A importância de proteger as regras contra a discricionariedade não é uma abstração. O Fundo Permanente do Alasca completa 50 anos. Em 1976, os alasquianos aprovaram uma alteração à Constituição do Estado que determinou que uma parte das receitas provenientes do petróleo e de outros recursos minerais fosse destinada a um fundo para as gerações futuras. O capital principal do fundo não pode ser gasto através de uma decisão orçamental ordinária. Meio século depois, o Fundo Permanente vale mais de 91 mil milhões de dólares, financia serviços públicos e continua a distribuir, anualmente, um dividendo aos residentes elegíveis.

Mas a segunda lição é ainda mais útil do que a primeira. A proteção do capital ficou inscrita na Constituição; a fórmula do dividendo permaneceu na legislação ordinária e o montante efetivamente distribuído passou a depender da apropriação orçamental anual. Em 2026, o governador propôs um dividendo de cerca de 3.800 dólares. O orçamento aprovado acabou por prever apenas 1.000 dólares de dividendo, acrescidos de 200 dólares de apoio energético. A parte constitucional resistiu durante cinquenta anos; a parte deixada à legislação ordinária permanece subordinada à negociação política de cada ano.

É esta a diferença entre regras protegidas, que o cidadão pode verificar, e critérios que o poder pode alterar.

A tecnologia não transforma automaticamente um contrato numa Constituição. Mas já permite aproximar, no plano contratual, algumas das qualidades de uma regra constitucional: transparência, verificabilidade, um rasto duradouro e auditável das alterações e a impossibilidade de uma das partes mudar unilateralmente as condições sem deixar registo.

A terapêutica começa pelo contrato

Não seria necessário começar por substituir a moeda existente. Poderíamos começar por contratos que só libertassem o pagamento quando determinadas condições fossem cumpridas. Numa fase seguinte, outras formas de valor passariam também a integrar a própria transação, sem serem imediatamente reduzidas a euros.

Escolha-se um setor delimitado, por exemplo, a contratação pública de serviços de inteligência artificial, e crie-se um projeto-piloto contratual. O pagamento continuaria a incluir euros, mas a transação não se esgotaria neles. Poderia integrar unidades tokenizadas de utilidades transferíveis, como a redução de emissões ou a eficiência energética, bem como credenciais digitais verificáveis relativas à segurança, à proteção de dados, à auditabilidade e à capacidade de resposta a incidentes.

Em vez de converter imediatamente todas essas dimensões num único valor monetário, o contrato conservaria cada uma delas na sua própria unidade de valor ou forma de comprovação. A transação passaria, assim, a produzir um resultado multidimensional: uma determinada quantia em euros, acompanhada da transferência ou criação verificável de outras formas de valor e da comprovação do cumprimento de requisitos relevantes.

O euro continuaria a ser euro. Mas deixaria de representar, sozinho, tudo aquilo que a transação produz e tudo aquilo que a sociedade pretende recompensar.

É aqui que a descentralização deixa de ser um princípio abstrato e se torna um método: nenhuma das partes controla sozinha a regra, a prova e a decisão.

O segundo passo seria impedir que uma única empresa, plataforma ou entidade pública pudesse declarar, por si só, que essas condições foram cumpridas. As provas teriam de provir de fontes independentes entre si, ser verificáveis digitalmente e ficar registadas de forma auditável.

Sempre que necessário, a confidencialidade poderia ser preservada por meio de provas criptográficas que demonstrem o cumprimento de uma condição, sem expor os dados subjacentes.

Quando uma única entidade controla a definição da verdade, surge um novo centro de poder e um novo ponto de captura.

Finalmente, os contratos executados por agentes de IA deveriam incluir aquilo a que podemos chamar travões constitucionais: limites de atuação e de perda, separação de permissões, suspensão automática perante comportamentos anómalos, prazos de validade, auditoria independente e direito de contestação humana.

As regras não poderiam ser alteradas discricionariamente por uma das partes, mas apenas mediante procedimentos previamente definidos, transparentes e igualmente auditáveis.

Começar-se-ia com experiências delimitadas, resultados públicos e avaliação independente. Se os incentivos produzissem os comportamentos pretendidos sem criar novos mecanismos de captura, o modelo poderia ser progressivamente alargado.

A regulação é necessária para estabelecer limites e punir desvios. Mas a terapêutica causal começa quando o próprio sistema deixa de premiá-los.

A imprescindível reforma do sistema de incentivos pode começar assim: não pedindo às máquinas inteligentes que sejam morais, mas fazendo com que o sucesso económico dependa, por construção, dos valores que a sociedade decidiu não sacrificar.

A inteligência artificial tornou urgente uma discussão que antes parecia académica. Quando as máquinas trabalham incansavelmente vinte e quatro horas por dia, os incentivos também deixam de poder adormecer.

Durante vinte e cinco séculos, desde a invenção da moeda, a consciência humana atenuou, ainda que imperfeitamente, as consequências de um sistema de incentivos incompleto: a nossa própria contingência foi mitigando os efeitos de um dinheiro amoral. Comecei a investigar este problema, na fronteira entre a ética, a economia política e a tecnologia, antes de o ChatGPT existir: como conceber novos sistemas de incentivos económicos que capacitem os seres humanos para preencher essa lacuna. Essa investigação revelou-se ainda mais necessária com a emergência da inteligência artificial agêntica, que veio acelerar e agravar o problema: o próprio amortecedor que procurávamos reforçar começa agora a desaparecer. A pergunta tornou-se, por isso, mais urgente: o que devemos colocar no seu lugar?

Na era da inteligência artificial, desenhar incentivos é desenhar o comportamento das máquinas. Estamos, em certo sentido, a desenhar a sua consciência operacional. As máquinas não precisam de governar formalmente para passarem a condicionar decisões, oportunidades e comportamentos.

A verdadeira pergunta já não é se a IA será mais inteligente do que nós. É quem escolherá as métricas que ela nunca deixará de perseguir e, através delas, os valores que orientarão o comportamento das máquinas que mediarão o nosso quotidiano.

Quando os sistemas aprendem a encontrar caminhos que os seus próprios criadores não previram, uma métrica mal escolhida deixa de ser apenas um erro de programação.

Pode tornar-se uma forma de governo.