Dessa, la voce quasi umana di Block, ha bisogno di un piano antifrode prima di una data di lancio

La cosa più impressionante di un'IA vocale è che non si capisce che è una macchina? Per un'azienda di pagamenti, dovrebbe essere la domanda più scomoda della stanza.

Block, l'azienda di Jack Dorsey dietro Square e Cash App, ha presentato Dessa, un modello vocale che, come riporta The Verge, secondo l'azienda è stato addestrato da zero solo su conversazioni umane. Secondo CoinDesk, ascolta mentre parla, quindi gestisce interruzioni, risate e cambi di tono. È abbastanza compatto da girare in locale su un MacBook Pro con M4 Max o superiore. Per ora è un'anteprima di ricerca, senza data di rilascio pubblico, e i campioni audio sono dimostrazioni dell'azienda, non test indipendenti.

Le reazioni si sono divise esattamente dove ci si aspetterebbe. Alcuni ascoltatori l'hanno definita fantascienza. La regista Justine Bateman ha chiesto perché le voci IA debbano suonare umane, scrivendo: "Così puoi ingannare le persone e farle abbassare la guardia." Il giornalista Shiv Aroor ha scritto: "Le telefonate truffa stanno per raggiungere livelli da pandemia." Pensiamo che gli scettici pongano la domanda migliore.

La naturalezza è la funzione e anche la superficie d'attacco

La tesi di Block è che l'IA vocale di oggi converte il parlato in testo e butta via ciò che conta: sarcasmo, un sospiro, una voce che si incrina. È una critica giusta agli assistenti impacciati. Ma le proprietà che rendono reale una conversazione sono le stesse di cui ha bisogno un truffatore telefonico: una pausa che sembra esitazione, una risata che pare spontanea, una voce che reagisce in tempo reale a ciò che dici.

Il dettaglio dell'esecuzione in locale merita più attenzione di quella che riceve. Block lo presenta come un pregio. Noi osserviamo che un modello che gira su un portatile è un modello senza un server dall'altra parte che possa limitarne l'uso, registrarlo o spegnerlo. È un'opinione sugli incentivi, non un'affermazione su ciò che Block intende fare, e l'azienda non ha spiegato come gestirebbe gli abusi. Ma "gira su un portatile di fascia alta" e "fidati della voce al telefono" non vanno d'accordo.

L'argomento della sicurezza è reale, ma punta nella direzione sbagliata

Block indica tre ragioni per costruire Dessa: curiosità, una migliore comprensione tra umani e IA, e sicurezza. L'argomento della sicurezza è che l'IA è quasi sorda alle emozioni, e un sistema che non si accorgesse di una persona in grave sofferenza sarebbe un problema. Lo riteniamo sincero e ragionevole. Ma è una storia di sicurezza sull'utente davanti al modello, non su chi riceve una telefonata da esso.

L'azienda offre accesso anticipato a un piccolo gruppo di ricercatori di sicurezza dell'IA per individuare rischi che non ha previsto. È un buon passo. Ma il rischio di frode non è imprevisto. Due reazioni nel primo giorno lo hanno indicato. Un processo di revisione che aspetta che lo scoprano gli esterni non è un piano.

Cosa dovrebbe fare Block, visto che è un'azienda di pagamenti

Poche aziende sono più adatte a trattare l'autenticità della voce come un problema di prodotto. Block gestisce pagamenti al consumo e servizi di trasferimento di denaro, e i suoi clienti sono proprio quelli colpiti quando una voce convince qualcuno a inviare soldi. Nel materiale che abbiamo esaminato, Block non dice nulla sulla tracciabilità dell'origine. La nostra raccomandazione, prima di qualsiasi rilascio pubblico:

• Integrare l'avviso: un modello che si dichiari sintetico quando parla con un terzo, per impostazione predefinita e non come opzione.
• Rilasciare strumenti di tracciabilità insieme al modello, così che l'audio generato possa essere rilevato, almeno dai sistemi di Block.
• Pubblicare i risultati dei test di attacco dei ricercatori di sicurezza, non solo gli elogi.

Si può obiettare, ragionevolmente, che le filigrane si possono rimuovere e che i malintenzionati non le rispetteranno. Vero, e nessuno dovrebbe sostenere che questo risolva le frodi. Ma le impostazioni predefinite contano su larga scala, e le versioni oneste di questa tecnologia non dovrebbero essere quelle che rendono facile l'inganno.

Verdetto

Dessa potrebbe benissimo essere un autentico progresso tecnico; Block afferma sulla pagina di Dessa che il modello ha imparato il linguaggio da centinaia di volte meno parole di quante ne servano agli LLM, ma non possiamo verificarlo in modo indipendente. L'ammirazione è legittima. Ma un'anteprima di ricerca è il momento più economico per decidere come una tecnologia può essere usata male, e il più costoso per ignorarlo è dopo il rilascio. Block vuole che il mondo ascolti una voce che sembra una persona. Il nostro parere: finché non mostrerà come chiunque possa capire quando non lo è, l'azienda ha un problema di frodi prima di avere un prodotto.