Os problemas “resolvidos” da OpenAI não valem nada até os especialistas confirmarem

Quando uma empresa diz que sua IA resolveu problemas que travaram pesquisadores por décadas, em que devemos acreditar? Nossa resposta: em nada, por enquanto. Não porque seja impossível, mas porque, na ciência, um anúncio não é um resultado. Resultado é algo que outras pessoas podem checar, tentar derrubar e reproduzir.

O que a OpenAI afirma

Segundo a cobertura que revisamos, a OpenAI anunciou avanços em três problemas em aberto de matemática, ciência da computação teórica e física. Um de seus modelos internos, ainda não lançado, teria refutado a Hipótese do Tempo Exponencial (ETH, na sigla em inglês), uma conjectura que a comunidade aceitava havia muito tempo como verdadeira, como resume o Medellín Style. Em uma reportagem relacionada, a Wired conta que Anthropic e OpenAI dizem ter derrubado um princípio central da ciência da computação, e que os pesquisadores estão lidando com a queda, mas também se sentem como “coelhinhos superexcitados”.

O mais importante é o processo. O 20minutos informa que especialistas externos, entre eles o Nobel David Gross, vão examinar parte do trabalho. Como resume a manchete do Gizmodo, agora a OpenAI precisa convencer os especialistas de que é verdade.

A verificação é o produto, não uma nota de rodapé

A empolgação é compreensível. Se um modelo realmente tivesse refutado a ETH, seria algo enorme. Mas “refutado” é uma palavra pesada, e só se torna verdadeira depois que especialistas percorrem o argumento linha por linha. Até lá, o que temos é uma empresa com todo o incentivo para impressionar dizendo que impressionou.

Uma das fontes secundárias que lemos levanta um ponto que achamos mais afiado que a manchete. O Ecosistema Startup argumenta que a OpenAI mudou a forma de publicar porque a abordagem antiga lhe custava credibilidade. Nesse relato, a empresa passou de um despejo em massa de resultados para um esquema em que especialistas externos coordenam a interpretação e, na física, decidem não publicar os materiais gerados pela IA. É a leitura de um único veículo, não um relato confirmado das motivações da empresa. Mas combina com o que esperaríamos: depois de perder credibilidade, o jeito mais barato de recuperá-la é passar o microfone para outra pessoa.

Acreditamos que é o instinto certo, executado pela metade. Ter revisores é bom. Não publicar o material de física, não, pelo menos sem uma explicação clara de por que ele não pode ser compartilhado. A ciência não funciona na base do “confie no nosso painel”.

O que a OpenAI nos deve

Três coisas transformariam isso de comunicado de imprensa em contribuição. Primeiro, as provas, completas, em um formato que matemáticos consigam ler e, quando possível, verificar formalmente. Segundo, o método: o que foi pedido ao modelo, quantas tentativas foram necessárias, quanta orientação humana houve e como as falhas foram filtradas. Terceiro, o papel do modelo não lançado: se ninguém de fora pode executá-lo, a reprodutibilidade é em parte teórica.

O método importa tanto quanto a resposta. Uma prova correta, mas arrancada com dezenas de empurrões humanos, é outra história em relação à que o modelo produziu sozinho. Pelo menos um agregador, o gptzone.net, já descreve os resultados como gerados quase inteiramente pela IA, mas essa é a formulação de um veículo entusiasmado, não uma documentação verificada, e não nos apoiaríamos nela.

Nosso veredicto

Observar, não aplaudir. Se os especialistas confirmarem o trabalho, a OpenAI merece crédito de verdade, e a área terá de repensar o que é difícil. Se não confirmarem, isso entrará na longa lista de triunfos da IA que encolheram ao contato com a revisão por pares. De qualquer forma, a lição para os leitores é a mesma: a manchete “IA resolve problema de décadas” deve ser lida como “empresa de IA afirma”. A verificação, quando chegar, é a notícia de verdade.

Para a OpenAI, o caminho é simples e sem glamour: publicar tudo, convidar os ataques e deixar os críticos falarem alto. Uma descoberta que não sobrevive a isso nunca foi uma descoberta.