Dessa, la voz casi humana de Block, necesita un plan antifraude antes de una fecha de lanzamiento

¿Lo más impresionante de una IA de voz es que no puedas distinguir que es una máquina? Para una empresa de pagos, esa debería ser la pregunta más incómoda de la sala.

Block, la compañía de Jack Dorsey detrás de Square y Cash App, ha presentado Dessa, un modelo de voz que, según informa The Verge, asegura haber entrenado desde cero únicamente con conversaciones humanas. Según CoinDesk, escucha mientras habla, así que gestiona interrupciones, risas y cambios de tono. Es lo bastante compacto como para funcionar en local en un MacBook Pro con M4 Max o superior. Por ahora es una vista previa de investigación, sin fecha de lanzamiento público, y las muestras de audio son demostraciones de la empresa, no pruebas independientes.

Las reacciones se dividieron justo por donde cabía esperar. Algunos oyentes lo calificaron de ciencia ficción. La cineasta Justine Bateman preguntó por qué las voces de IA tienen que sonar humanas, y escribió: "Para que puedan engañarte y bajes la guardia". El periodista Shiv Aroor escribió: "Las llamadas fraudulentas están a punto de alcanzar niveles de pandemia". Creemos que los escépticos se plantean la mejor pregunta.

La naturalidad es la virtud y también el flanco débil

La tesis de Block es que la IA de voz actual convierte el habla en texto y tira lo que importa: el sarcasmo, un suspiro, una voz quebrada. Es una crítica justa a los asistentes acartonados. Pero las propiedades que hacen que una conversación parezca real son las mismas que necesita un estafador telefónico: una pausa que suena a duda, una risa que parece espontánea, una voz que reacciona en tiempo real a lo que dices.

El detalle de la ejecución en local merece más atención de la que recibe. Block lo presenta como una ventaja. Nosotros señalamos que un modelo que corre en un portátil es un modelo sin servidor al otro lado que limite el uso, registre la actividad o pueda apagarse. Es una opinión sobre incentivos, no una afirmación sobre lo que Block planea, y la empresa no ha dicho cómo abordaría el mal uso. Pero "funciona en un portátil de gama alta" y "fíate de la voz del teléfono" no son buenos vecinos.

El argumento de la seguridad es real, pero apunta en la dirección equivocada

Block da tres razones para construir Dessa: curiosidad, una mejor comprensión entre humanos e IA, y seguridad. El argumento de seguridad es que la IA es casi sorda a la emoción, y que un sistema que no detectara a alguien con un dolor profundo sería un problema. Nos parece sincero y razonable. Pero es una historia de seguridad sobre el usuario que tiene delante el modelo, no sobre la persona que recibe una llamada de él.

La empresa ofrece acceso anticipado a un pequeño grupo de investigadores de seguridad de la IA para detectar riesgos que no haya previsto. Es un buen paso. Pero el riesgo de fraude no es imprevisto. Dos reacciones durante el primer día ya lo señalaron. Un proceso de revisión que espera a que otros descubran lo obvio no equivale a un plan.

Lo que debería hacer Block, siendo una empresa de pagos

Pocas compañías están mejor situadas para tratar la autenticidad de la voz como un problema de producto. Block gestiona pagos de consumo y servicios de transferencia de dinero, y sus clientes son justo quienes sufren las consecuencias cuando una voz convence a alguien de enviar dinero. En el material que hemos revisado, Block no dice nada sobre la procedencia del audio. Nuestra recomendación, antes de cualquier lanzamiento público:

• Integrar el aviso: un modelo que se identifique como sintético cuando hable con un tercero, y que lo haga por defecto, no como opción voluntaria.
• Lanzar herramientas de procedencia junto al modelo, de modo que el audio que genere pueda detectarse, al menos por los sistemas de la propia Block.
• Publicar los hallazgos del equipo de pruebas de ataque de los investigadores de seguridad, y no solo los elogios.

Es razonable objetar que las marcas de agua pueden eliminarse y que los malos actores no las cumplirán. Es cierto, y nadie debería afirmar que esto resuelve el fraude. Pero los valores por defecto importan a gran escala, y las versiones honestas de esta tecnología no deberían ser las que faciliten el engaño.

Veredicto

Dessa bien podría ser un avance técnico genuino; Block afirma en su página de Dessa que el modelo aprendió el lenguaje con cientos de veces menos palabras de las que necesitan los LLM, aunque no podemos verificarlo de forma independiente. La admiración es legítima. Pero una vista previa de investigación es el momento más barato para decidir cómo puede abusarse de una tecnología, y el más caro para ignorarlo es después del lanzamiento. Block quiere que el mundo escuche una voz que parezca una persona. Nuestra opinión: hasta que muestre cómo puede saber cualquiera que no lo es, la empresa tiene un problema de fraude antes que un producto.