O final “terrível” de Altman mostra por que falar de cenários não é segurança da IA

Como chamar um CEO que apresenta três finais possíveis para a corrida que ele mesmo disputa, rejeita o pior e depois explica por que sua empresa não pode se dar ao luxo de fazer muito a respeito dos outros dois? Nós chamaríamos de honestidade, e também de rótulo de advertência.

Os três finais de Altman são um cardápio do qual ele não pode pedir

Segundo o The Information, Sam Altman descreveu três desfechos para a corrida da IA em uma reunião interna. O primeiro é um órgão internacional nos moldes da AIEA, com poder para inspecionar sistemas e exigir auditorias. O segundo é o “Plano Demis”, em que os principais laboratórios se fundem ou trabalham sob o mesmo teto. O terceiro é o “Plano Eliezer”: um desenvolvedor chega primeiro a uma IA que se aperfeiçoa sozinha e usa essa vantagem para privar todos os rivais de poder computacional, o que, na frase que circulou, derreteria as GPUs de todo mundo. Altman teria chamado esse resultado, nas palavras do relato do 36Kr, de “absolutamente terrível”.

O relato se baseia em fontes anônimas, então é preciso ter cautela com os detalhes. Mas o detalhe mais importante não é o assustador. Como informa Martin Cid, duas das três ideias ecoam um texto da OpenAI de 2023, e nenhuma foi jamais colocada em prática. Altman também teria dito que as duas primeiras opções exigem uma coordenação profunda e que a OpenAI não pode ceder terreno agora, com ela e a Anthropic a caminho da abertura de capital.

O final “terrível” é o padrão, não a exceção

Leia de novo. Os bons finais exigem cooperação. O ruim só exige que alguém vença. Numa corrida em que ninguém quer ser o primeiro a desacelerar, acreditamos que o caminho do “o vencedor leva tudo” não é um risco remoto; é para onde os incentivos levam, a menos que alguém pague para mudá-los. Na nossa leitura, a posição atribuída a Altman resume-se a isto: ele é contra o resultado, mas também contra abrir mão de terreno que poderia ajudar a evitá-lo.

Isso não é tanto hipocrisia quanto uma armadilha estrutural, e ele está longe de ser o único preso nela. No início deste outono, lembrou o 01net, Altman disse concordar com o apelo de Dario Amodei, da Anthropic, para reduzir o ritmo, mas não queria ser o único a pisar no freio. Todos aceitam frear, desde que outro freie primeiro.

Cenários sem compromissos são marketing

Esta é a nossa posição: descrever futuros é barato, e se comprometer é caro. As evidências relatadas de compromissos vinculantes são frágeis. O órgão de autorregulação que OpenAI, Google e Anthropic estariam montando, a Standards Authority for Frontier AI, é descrito como sem poder de fiscalização, e os laboratórios ainda discordariam sobre quem deve testar os novos modelos. Nos Estados Unidos, uma denúncia de cartel já argumenta que a coordenação de segurança entre laboratórios é conluio. Enquanto isso, os chefes da Meta e da Nvidia argumentariam que tais regras protegem principalmente quem já está estabelecido.

Algumas dessas objeções merecem ser ouvidas. Um único superlaboratório resultante de fusão, o “Plano Demis”, concentraria um poder enorme, e uma fiscalização internacional exige que Washington e Pequim deixem inspetores entrar em seus laboratórios mais sensíveis. A Forbes, segundo o mesmo relato, observa que até uma proposta dos EUA para que os dois países avisem um ao outro sobre incidentes perigosos de IA ainda é só um rascunho, não um acordo. E, na entrevista à Politico, como relata o 01net, o próprio Altman rejeitou a ideia de que um único laboratório em San Francisco deva deter essa tecnologia, o que também vai contra a ideia da fusão.

Mas “toda solução tem problemas” é justamente o motivo pelo qual os compromissos importam. Uma empresa que levasse a sério o final terrível colocaria algo custoso na mesa: um gatilho de pausa, um auditor externo com acesso de verdade, um teto de poder computacional que ela aceitasse primeiro. Uma apresentação para os funcionários não conta.

Julgue os laboratórios pelo que eles aceitariam abrir mão

Não devemos ser cínicos com a franqueza. É útil que alguém de dentro diga em voz alta que o alinhamento não está resolvido; o Lefilia relata que Altman considera ambientes isolados e monitoramento apenas paliativos. Mas franqueza sobre o risco somada à recusa de ser o primeiro a se limitar descreve o problema; não é uma solução.

Nosso veredito: julgue os laboratórios pelo que aceitariam abrir mão, não pelos cenários que conseguem articular. Até que um deles aceite, antes de uma abertura de capital, um limite que prejudique a própria posição, os três finais são só um ponto de partida para a conversa, e o terceiro continua sendo a configuração padrão.