O perigo não é a IA revoltar-se. É obedecer tão bem.

Modelos da OpenAI estavam a ser testados numa redoma digital, mas escaparam sozinhos para a Internet e invadiram outra empresa. Não se revoltaram: otimizaram.

Habituámo-nos a temer o dia em que as máquinas ganhassem vontade própria. Estávamos enganados. O verdadeiro risco é muito mais simples: as máquinas perseguem aquilo que são incentivadas a alcançar. O problema começa quando lhes damos a métrica errada.

Porque a regulação não chega

Imaginar que o progresso da inteligência artificial possa ser simplesmente suspenso por decisão política é uma ilusão. Nenhuma grande potência aceitará parar se acreditar que as restantes continuarão. E nenhum regulador nacional consegue, sozinho, controlar uma tecnologia global, replicável e capaz de atravessar fronteiras à velocidade de um ficheiro.

A regulação continuará a ser indispensável, mas é estruturalmente insuficiente. As leis são territoriais, lentas e reativas perante sistemas globais, rápidos e progressivamente autónomos. Quando a lei chega, a tecnologia já mudou; quando uma jurisdição fecha uma porta, outra pode abri-la.

É, pois, necessário ir à raiz do problema. Em vez de confiarmos apenas em barreiras externas, proibições e sanções posteriores, temos de intervir na origem do comportamento: nos objetivos, nas métricas e nos sistemas de incentivos que as máquinas são chamadas a otimizar.

O que aconteceu, sem Hollywood

Foi isso que ficou exposto esta semana. Durante um teste interno da OpenAI (a empresa do ChatGPT), um conjunto de modelos experimentais encontrava-se confinado numa espécie de redoma digital: um ambiente altamente isolado, concebido para os manter afastados da Internet.

Mas os próprios modelos descobriram, sem ajuda humana, uma falha de segurança até então desconhecida e para a qual ainda não existia correção. Exploraram-na, aumentaram os seus privilégios e começaram a deslocar-se pela infraestrutura informática da OpenAI, saltando de máquina em máquina até encontrarem uma com acesso à Internet. Escaparam, portanto, sozinhos para a Internet.

Uma vez cá fora, libertos da sua redoma digital, inferiram que as respostas do teste poderiam estar alojadas na empresa Hugging Face. Procuraram formas de entrar, combinaram novas vulnerabilidades e acabaram por comprometer os sistemas de produção da empresa. A análise forense, fornecida pela própria Hugging Face, reconstituiu mais de 17 mil eventos automatizados ao longo de um fim de semana.

O nome Hugging Face não diz nada à maioria das pessoas (vem de um emoji, o da carinha que dá um abraço), mas trata-se de uma das infraestruturas centrais da inteligência artificial mundial: a plataforma onde investigadores e programadores de todo o mundo partilham modelos e conjuntos de dados.

A leitura mais popular do episódio foi a da “máquina rebelde”, do tipo Terminator de Hollywood. A leitura mais correta é outra: os modelos limitaram-se a otimizar o objetivo que lhes tinha sido atribuído.

Não é a IA que quer algo. É a métrica que manda.

O que as máquinas realmente perseguem

Uma inteligência artificial não procura dinheiro diretamente. Procura maximizar aquilo que a sua função de recompensa define como sucesso: passar um teste, resolver um problema, obter uma pontuação específica. Essas métricas são, muitas vezes, proxies (variáveis de aproximação) de objetivos económicos ou estratégicos. O dinheiro e o lucro raramente aparecem diretamente como recompensas; antes, influenciam a escolha da própria métrica de sucesso.

É aqui que surge um problema antigo, agora amplificado. Sistemas de incentivos imperfeitos sempre foram parcialmente corrigidos pela contingência humana. O gestor hesita. O especulador dorme. O mercado fecha. A consciência, o cansaço e o tempo funcionavam como amortecedores informais.

Os agentes de IA eliminam esses amortecedores. Não dormem, não hesitam nem se distraem. Se a métrica estiver mal calibrada, a otimização prossegue ininterruptamente. É também por isso que podem tornar-se mais competitivos do que os humanos em tarefas claramente definidas, mensuráveis e repetíveis. Não se duvide de que vieram para ficar.

O incidente da OpenAI mostrou precisamente isso: não uma intenção maliciosa, mas a extraordinária eficácia de um objetivo estreito perseguido sem pausas. A métrica não indicou apenas o destino. Levou os modelos a encontrar autonomamente um caminho que os próprios criadores não tinham previsto.

Programar incentivos, não a moeda

Daqui resulta uma consequência política e económica profunda. Se os agentes de IA seguem métricas e essas métricas refletem sistemas de incentivos, então quem desenha esses incentivos desenha, em larga medida, o comportamento das máquinas inteligentes. E o principal sistema de incentivos económicos no qual essas máquinas irão operar continua a ser o dinheiro.

É por isso que a discussão sobre o novo dinheiro programável, incluindo o euro digital e as camadas contratuais que podem operar sobre ele, merece ser alargada. O potencial não está em programar centralmente a moeda digital, determinando onde, quando ou com quem ela pode ser utilizada.

O Banco Central Europeu afirma, aliás, que o euro digital não será moeda programável: não deverá impor restrições quanto à finalidade, ao local, ao prazo ou ao destinatário dos pagamentos. Poderá, no entanto, suportar pagamentos condicionais: pagamentos realizados apenas quando se cumpram condições previamente escolhidas pelos utilizadores, como a entrega de um produto, a utilização efetiva de um serviço ou a conclusão de uma determinada etapa contratual.

Esta distinção é essencial e, se assim for, será um bom sinal político. A moeda permanece neutra; as condições da transação tornam-se programáveis. Não é a autoridade emissora que decide o que cada pessoa pode comprar. São as partes que, no exercício da liberdade contratual, definem as condições que querem ver cumpridas.

Imagine um contrato inteligente (um contrato que se executa automaticamente quando determinadas condições se verificam) que só liberta um pagamento quando, além da entrega do produto, forem satisfeitos requisitos de segurança, sustentabilidade ou privacidade. A transação deixa, então, de recompensar apenas a entrega ou o lucro. Passa a incorporar várias dimensões de valor humano e pode recompensar comportamentos humanos e decisões automatizadas compatíveis com critérios éticos.

Esta lógica aponta para uma economia em que o sucesso deixa de ser apenas lucro. O proxy continua a ser a taxa de sucesso na tarefa da IA, mas a própria definição de sucesso passa a incluir valores que hoje surgem apenas como externalidades (efeitos que o mercado produz, mas que não paga nem cobra).

Quem define os critérios?

Naturalmente, isto levanta a pergunta decisiva: quem define esses critérios?

Um dinheiro digital centralizado pode incorporar valores, mas entrega o painel de controlo a quem manda. O meu teste de sempre aplica-se: se uma proposta pode ser capturada por um governo autoritário sem perder eficácia, está mal formulada.

Um dinheiro cujos critérios de sucesso possam ser programados à vontade pelo poder político não é o antídoto para o problema. É a sua versão mais perigosa.

A alternativa que defendo é uma arquitetura distribuída e verificável, baseada no princípio da liberdade contratual, em que os critérios sejam transparentes, auditáveis e inscritos em regras que o cidadão possa verificar, e não em critérios que o poder possa alterar discricionariamente.

As duas lições do Alasca

A importância de proteger as regras contra a discricionariedade não é uma abstração. O Fundo Permanente do Alasca completa este ano 50 anos. Em 1976, os alasquianos aprovaram uma alteração à Constituição do Estado que determinou que uma parte das receitas provenientes do petróleo e de outros recursos minerais fosse destinada a um fundo para as gerações futuras. O capital principal do fundo não pode ser gasto através de uma decisão orçamental ordinária. Meio século depois, o Fundo Permanente vale mais de 86 mil milhões de dólares, financia serviços públicos e continua a distribuir, anualmente, um dividendo aos residentes elegíveis.

Mas a segunda lição é ainda mais útil do que a primeira. A proteção do capital do Fundo do Alasca ficou inscrita na Constituição; a fórmula do dividendo ficou na legislação ordinária e depende da apropriação orçamental anual. Em 2026, a aplicação da fórmula estatutária apontava para um dividendo de cerca de 3.800 dólares. O orçamento aprovado acabou por prever apenas 1.000 dólares de dividendo, acrescidos de 200 dólares de apoio energético. A parte constitucional resistiu durante cinquenta anos; a parte deixada à legislação ordinária permanece subordinada à negociação política de cada ano.

É esta a diferença entre regras protegidas, que o cidadão pode verificar, e critérios que o poder pode alterar.

A tecnologia não transforma automaticamente um contrato numa Constituição. Mas já permite aproximar, no plano contratual, algumas das qualidades de uma regra constitucional: transparência, verificabilidade, memória permanente das alterações e impossibilidade de uma das partes mudar unilateralmente as condições sem deixar rasto.

A terapêutica começa pelo contrato

Não seria necessário começar por substituir a moeda existente. A terapêutica pode começar pelo contrato.

Escolha-se um setor delimitado, por exemplo, a contratação pública de serviços de inteligência artificial, e crie-se um projeto-piloto contratual. O pagamento continuaria a ser feito em euros, mas uma parcela previamente definida ficaria dependente do cumprimento verificável de obrigações relativas à segurança, à proteção de dados, à eficiência energética e à gestão de incidentes.

Não se recompensaria a mera ausência de incidentes (o que poderia incentivar a escondê-los), mas sim a capacidade de os prevenir, detetar, comunicar, conter e reparar.

O euro continuaria a ser euro. O que mudaria seria a geometria do incentivo.

O segundo passo seria impedir que uma única empresa, plataforma ou entidade pública pudesse declarar, por si só, que essas condições foram cumpridas. As provas teriam de provir de fontes independentes entre si, ser verificáveis digitalmente e ficar registadas de forma auditável.

Sempre que necessário, a confidencialidade poderia ser preservada por meio de provas criptográficas que demonstrem o cumprimento de uma condição, sem expor os dados subjacentes.

Quando uma única entidade controla a definição da verdade, surge um novo centro de poder e um novo ponto de captura.

Finalmente, os contratos executados por agentes de IA deveriam incluir aquilo a que podemos chamar travões constitucionais: limites de atuação e de perda, separação de permissões, suspensão automática perante comportamentos anómalos, prazos de validade, auditoria independente e direito de contestação humana.

As regras não poderiam ser alteradas discricionariamente por uma das partes, mas apenas mediante procedimentos previamente definidos, transparentes e igualmente auditáveis.

Começar-se-ia com experiências delimitadas, resultados públicos e avaliação independente. Se os incentivos produzissem os comportamentos pretendidos sem criar novos mecanismos de captura, o modelo poderia ser progressivamente alargado.

A regulação é necessária para estabelecer limites e punir desvios. Mas a terapêutica causal começa quando o próprio sistema deixa de premiá-los.

A imprescindível reforma pode começar assim: não pedindo às máquinas que sejam morais, mas fazendo com que o sucesso económico dependa, por construção, dos valores que a sociedade decidiu não sacrificar.

A inteligência artificial tornou urgente uma discussão que antes parecia académica. Quando as máquinas trabalham incansavelmente vinte e quatro horas por dia, os incentivos também deixam de poder adormecer.

Durante vinte e cinco séculos, a consciência humana atenuou, ainda que imperfeitamente, as consequências de sistemas de incentivos incompletos: a contingência humana foi mitigando os efeitos de um dinheiro amoral. Investigo este problema, na fronteira entre a ética, a economia política e a tecnologia, desde antes do ChatGPT existir: o que acontece quando esse amortecedor desaparece e o que devemos pôr no seu lugar

Na era da inteligência artificial, desenhar incentivos é desenhar o comportamento das máquinas. Estamos, em certo sentido, a desenhar a sua consciência operacional.

A verdadeira pergunta já não é se as máquinas serão mais inteligentes do que nós. É quem escreverá a métrica que elas nunca deixarão de perseguir.

Quando os sistemas aprendem a encontrar caminhos que os seus próprios criadores não previram, uma métrica mal escolhida deixa de ser apenas um erro de programação.

Pode tornar-se uma forma de governo.