Dessa, a voz quase humana da Block, precisa de um plano antifraude antes de ter data de lançamento

O mais impressionante numa IA de voz é você não conseguir perceber que é uma máquina? Para uma empresa de pagamentos, essa deveria ser a pergunta mais incômoda da sala.

A Block, empresa de Jack Dorsey por trás da Square e do Cash App, apresentou a Dessa, um modelo de fala que, segundo o The Verge, foi treinado do zero apenas com conversas humanas, de acordo com a companhia. Segundo a CoinDesk, ele escuta enquanto fala, então lida com interrupções, risadas e mudanças de tom. É compacto o bastante para rodar localmente em um MacBook Pro com M4 Max ou superior. Por ora, é uma prévia de pesquisa, sem data de lançamento público, e as amostras de áudio são demonstrações da empresa, não testes independentes.

As reações se dividiram exatamente onde se esperava. Alguns ouvintes chamaram de ficção científica. A cineasta Justine Bateman perguntou por que vozes de IA precisam soar humanas, e escreveu: "Para poderem enganar as pessoas e fazê-las baixar a guarda." O jornalista Shiv Aroor escreveu: "As ligações de golpe estão prestes a atingir nível de pandemia." Achamos que os céticos fazem a melhor pergunta.

A naturalidade é o recurso e também a superfície de ataque

O argumento da Block é que a IA de voz atual converte fala em texto e joga fora o que importa: sarcasmo, um suspiro, uma voz que falha. É uma crítica justa a assistentes travados. Mas as propriedades que fazem uma conversa parecer real são as mesmas de que um golpista ao telefone precisa: uma pausa que soa como hesitação, uma risada que parece espontânea, uma voz que reage em tempo real ao que você diz.

O detalhe da execução local merece mais atenção do que recebe. A Block o apresenta como um recurso. Nós observamos que um modelo rodando em um notebook é um modelo sem servidor do outro lado para limitar o uso, registrar atividade ou desligar. É uma opinião sobre incentivos, não uma afirmação sobre os planos da Block, e a empresa não disse como lidaria com o uso indevido. Mas "roda em um notebook de ponta" e "confie na voz ao telefone" não combinam bem.

O argumento de segurança é real, mas aponta para o lado errado

A Block dá três razões para construir a Dessa: curiosidade, melhor entendimento entre humanos e IA, e segurança. O argumento de segurança é que a IA é quase surda para emoções, e um sistema que deixasse de perceber alguém em sofrimento grave seria um problema. Achamos isso sincero e razoável. Mas é uma história de segurança sobre o usuário diante do modelo, não sobre a pessoa que recebe uma ligação dele.

A empresa oferece acesso antecipado a um pequeno grupo de pesquisadores de segurança da IA para encontrar riscos que não previu. É um bom passo. Mas o risco de fraude não é imprevisto. Duas reações no primeiro dia já o apontaram. Um processo de revisão que espera que gente de fora descubra o óbvio não é um plano.

O que a Block deveria fazer, por ser uma empresa de pagamentos

Poucas empresas estão em melhor posição para tratar a autenticidade da voz como um problema de produto. A Block opera pagamentos para consumidores e serviços de transferência de dinheiro, e seus clientes são justamente quem sofre quando uma voz convence alguém a enviar dinheiro. No material que analisamos, a Block não disse nada sobre rastreabilidade de origem. Nossa recomendação, antes de qualquer lançamento público:

• Incorporar o aviso: um modelo que se identifique como sintético ao falar com um terceiro, por padrão e não como opção.
• Lançar ferramentas de rastreabilidade junto com o modelo, para que o áudio gerado possa ser detectado, ao menos pelos sistemas da própria Block.
• Publicar as conclusões dos testes de ataque dos pesquisadores de segurança, e não só os elogios.

É razoável objetar que marcas d'água podem ser removidas e que agentes mal-intencionados não vão cumpri-las. É verdade, e ninguém deveria afirmar que isso resolve a fraude. Mas os padrões importam em larga escala, e as versões honestas dessa tecnologia não deveriam ser as que facilitam o engano.

Veredito

A Dessa pode muito bem ser um avanço técnico genuíno; a Block diz na página da Dessa que o modelo aprendeu a linguagem com centenas de vezes menos palavras do que os LLMs precisam, embora não possamos verificar isso de forma independente. A admiração é justa. Mas uma prévia de pesquisa é o momento mais barato para decidir como uma tecnologia pode ser usada de forma abusiva, e o mais caro para ignorar isso é depois do lançamento. A Block quer que o mundo ouça uma voz que pareça uma pessoa. Nossa visão: até mostrar como qualquer um pode saber quando não é, a empresa tem um problema de fraude antes de ter um produto.