Apagar dados piratas de treinamento diante de um processo é problema de confiança

Se os seus dados de treinamento são limpos, por que você precisaria apagá-los? Essa é a pergunta que paira sobre a última reviravolta na saga dos direitos autorais da Meta, e "estávamos sendo cuidadosos" não é uma resposta satisfatória.

O que veio à tona

Um ex-pesquisador da Meta, Stephen Roller, que trabalhou na empresa de 2017 a 2023, testemunhou que baixou, usando BitTorrent, um conjunto de dados de treinamento de IA que inclui a coleção pirata Books3. Segundo um resumo de seu depoimento, ele apagou sua cópia à medida que os processos se multiplicavam. O Hacker News repercutiu o caso com uma manchete que diz tudo: apagado "por causa do litígio".

O pano de fundo é um conjunto de ações na Justiça federal da Califórnia sobre os dados de treinamento do Llama. Os autores alegam que a Meta obteve cerca de 80,6 terabytes do LibGen e cerca de 35,7 terabytes do Anna's Archive, segundo o resumo da BigGo dos autos. Um juiz magistrado agora ordenou que a Meta identifique as pessoas que aprovaram essa obtenção. Reproduzimos aqui alegações, não conclusões. A Meta não foi considerada responsável pelo uso de torrents.

Apagar provas é o reflexo errado, mesmo que não seja a prova definitiva

Não dá para saber, pela documentação, se essa exclusão violou alguma regra, e não vamos fingir que sim. O que podemos dizer é como isso parece, e num negócio baseado em confiança, a aparência é o produto. Um laboratório de IA pede que aceitemos que seus modelos foram construídos de forma responsável. Quando um conjunto de dados no centro da disputa é apagado enquanto os processos se acumulam, a reação razoável é desconfiar. Talvez o motivo seja inocente. O efeito é o mesmo.

Há também um problema mais profundo. Não sabemos que registros a Meta guardou, mas este episódio mostra como a alternativa é frágil: se a origem de um conjunto de dados está na pasta de downloads de um pesquisador, ela pode sumir com um único comando. Isso não é um sistema de rastreabilidade. É um sistema baseado na palavra de honra, e esses sistemas costumam falhar justamente quando o risco é alto.

A defesa de "a culpa é dos funcionários" piora tudo

O Ars Technica informa que a Meta passou semanas culpando funcionários pelo uso de torrents e agora foi obrigada a nomear os executivos que o autorizaram. Nossa leitura: é o que costuma acontecer quando as decisões sobre dados não são registradas com clareza. A responsabilidade recai, por padrão, em quem apertou o botão. O pesquisador vira a notícia, e quem decidiu continua na névoa.

Isso é ruim para os pesquisadores, que correm o risco de ser expostos por escolhas que talvez não fossem deles. É ruim para as empresas, que parecem evasivas. E é ruim para os autores, que não conseguem reconstituir com facilidade o que foi usado a partir de suas obras. Documentos judiciais citados pelo Tom's Hardware mostram que um pesquisador sênior de IA manifestou preocupações já em outubro de 2022. Se isso for verdade, um sistema que registrasse essas preocupações e as respostas a elas teria valido mais do que qualquer exclusão.

Como seria a auditabilidade por padrão

Não é uma engenharia exótica. Os laboratórios podem manter um manifesto de cada corpus: de onde veio, quem aprovou, sob qual licença ou tese jurídica e uma impressão digital criptográfica do conteúdo. Os arquivos em si podem ser eliminados, se for preciso. O registro do que eles eram, não. Guarde o recibo, não necessariamente a mercadoria.

Os laboratórios vão objetar que os manifestos viram munição na fase de produção de provas. Provavelmente é verdade, e achamos que esse é o ponto. O quadro jurídico é indefinido. Em Kadrey v. Meta, segundo o monitor da Fiund, a Meta obteve um julgamento sumário favorável sobre uso justo (fair use) por treinar o Llama com livros de treze autores, mas a juíza o apresentou como um alerta, não como uma bênção, e uma ação separada sobre o uso de torrents segue sem solução. Enquanto isso, cerca de 300 autores pedem um julgamento por júri e o máximo de US$ 150.000 por ato de infração, segundo a Publishers Weekly, e o advogado envolvido diz que muitos outros casos estão a caminho. Nesse cenário, um laboratório que consegue comprovar uma origem limpa tem um ativo. Um que não consegue tem um passivo que tentou apagar.

Nosso veredicto

O uso justo pode proteger o treinamento, como sugeriu uma decisão sobre um conjunto restrito de livros. Ele não protege uma cadeia de suprimentos opaca de danos à reputação. Se o setor quer o benefício da dúvida, deve conquistá-lo com registros que sobrevivam a um processo, não com HDs que não sobrevivem. Reguladores e clientes deveriam começar a exigir manifestos de procedência como exigem auditorias de segurança. E qualquer laboratório que trate a exclusão como estratégia de documentação deve esperar que as pessoas presumam o pior sobre o que foi apagado.