Dessa, la voix quasi humaine de Block, exige un plan antifraude avant toute date de lancement

Le plus impressionnant, dans une IA vocale, est-ce qu'on ne puisse pas deviner qu'il s'agit d'une machine ? Pour une entreprise de paiement, ce devrait être la question la plus gênante de la pièce.

Block, la société de Jack Dorsey derrière Square et Cash App, a dévoilé Dessa, un modèle vocal qui, comme le rapporte The Verge, aurait été entraîné de zéro uniquement sur des conversations humaines, selon l'entreprise. Selon CoinDesk, il écoute pendant qu'il parle, et gère donc les interruptions, les rires et les changements de ton. Il est assez compact pour tourner en local sur un MacBook Pro équipé d'une puce M4 Max ou plus puissante. Pour l'instant, il s'agit d'un aperçu de recherche, sans date de sortie publique, et les échantillons audio sont des démonstrations de l'entreprise, non des tests indépendants.

Les réactions se sont partagées exactement là où on l'imaginait. Certains auditeurs ont parlé de science-fiction. La réalisatrice Justine Bateman a demandé pourquoi les voix d'IA devraient sonner humaines, en écrivant: « Pour pouvoir tromper les gens et leur faire baisser leur garde. » Le journaliste Shiv Aroor a écrit: « Les appels frauduleux s'apprêtent à atteindre des niveaux de pandémie. » Nous pensons que les sceptiques posent la meilleure question.

Le naturel est à la fois la fonction et la surface d'attaque

Block affirme que les IA vocales actuelles convertissent la parole en texte et jettent l'essentiel: le sarcasme, un soupir, une voix qui se brise. La critique est juste à l'égard des assistants guindés. Mais les qualités qui rendent une conversation réelle sont celles dont un escroc au téléphone a besoin: une pause qui ressemble à une hésitation, un rire qui paraît spontané, une voix qui réagit en temps réel à ce que vous dites.

Le détail de l'exécution locale mérite plus d'attention qu'il n'en reçoit. Block le présente comme un atout. Nous soulignons qu'un modèle qui tourne sur un ordinateur portable est un modèle sans serveur en face pour limiter les requêtes, les journaliser ou le couper. C'est un avis sur les incitations, non une affirmation sur les projets de Block, et l'entreprise n'a pas dit comment elle traiterait les usages malveillants. Mais « fonctionne sur un portable haut de gamme » et « faites confiance à la voix au téléphone » font mauvais ménage.

L'argument de sécurité est réel, mais il vise dans la mauvaise direction

Block avance trois raisons pour Dessa: la curiosité, une meilleure compréhension entre humains et IA, et la sécurité. L'argument de sécurité est que l'IA est presque sourde aux émotions, et qu'un système qui passerait à côté d'une personne en grande détresse poserait problème. Nous le trouvons sincère et raisonnable. Mais c'est une histoire de sécurité pour l'utilisateur placé devant le modèle, pas pour la personne qui reçoit son appel.

L'entreprise offre un accès anticipé à un petit groupe de chercheurs en sécurité de l'IA pour repérer les risques qu'elle n'a pas anticipés. C'est un bon pas. Mais le risque de fraude n'est pas imprévu. Deux réactions, dès le premier jour, l'ont nommé. Un processus de revue qui attend que des tiers découvrent l'évidence n'est pas un plan.

Ce que Block devrait faire, puisqu'elle est une entreprise de paiement

Peu d'entreprises sont mieux placées pour traiter l'authenticité de la voix comme un problème de produit. Block exploite des services de paiement grand public et de transfert d'argent, et ses clients sont précisément ceux qui sont touchés quand une voix convainc quelqu'un d'envoyer de l'argent. Dans les documents que nous avons examinés, Block ne dit rien de la traçabilité. Notre recommandation, avant toute sortie publique:

• Intégrer le signalement: un modèle qui se présente comme synthétique lorsqu'il parle à un tiers, par défaut et non en option.
• Livrer des outils de traçabilité avec le modèle, afin que l'audio généré puisse être détecté, au moins par les systèmes de Block.
• Publier les conclusions des tests d'attaque menés par les chercheurs en sécurité, et pas seulement les éloges.

On peut objecter, à raison, que les filigranes peuvent être supprimés et que les acteurs malveillants ne s'y plieront pas. C'est vrai, et personne ne devrait prétendre que cela règle la fraude. Mais les réglages par défaut comptent à grande échelle, et les versions honnêtes de cette technologie ne devraient pas être celles qui facilitent la tromperie.

Verdict

Dessa est peut-être une véritable avancée technique; Block affirme sur sa page Dessa que le modèle a appris le langage avec des centaines de fois moins de mots que les LLM n'en exigent, mais nous ne pouvons pas le vérifier de façon indépendante. L'admiration est légitime. Seulement, un aperçu de recherche est le moment le moins coûteux pour décider comment une technologie peut être détournée, et le plus coûteux pour l'ignorer est l'après-lancement. Block veut que le monde entende une voix qui ressemble à une personne. Notre avis: tant qu'elle n'aura pas montré comment chacun peut savoir que ce n'en est pas une, l'entreprise a un problème de fraude avant d'avoir un produit.