Blocks menschlich klingende Dessa braucht einen Betrugsplan vor dem Starttermin

Ist das Beeindruckendste an einer Sprach-KI, dass man nicht merkt, dass es eine Maschine ist? Für einen Zahlungsdienstleister sollte das die unangenehmste Frage im Raum sein.

Block, das Unternehmen von Jack Dorsey hinter Square und Cash App, hat Dessa vorgestellt, ein Sprachmodell, das nach eigenen Angaben – so berichtet The Verge – von Grund auf ausschließlich mit menschlichen Gesprächen trainiert wurde. Laut CoinDesk hört es beim Sprechen zu und kommt deshalb mit Unterbrechungen, Lachen und Tonwechseln zurecht. Es ist kompakt genug, um lokal auf einem MacBook Pro mit M4 Max oder besser zu laufen. Vorerst ist es eine Forschungsvorschau ohne öffentlichen Starttermin, und die Hörproben sind Demos des Unternehmens, keine unabhängigen Tests.

Die Reaktionen spalteten sich genau dort, wo man es erwarten würde. Manche Zuhörer nannten es Science-Fiction. Die Filmemacherin Justine Bateman fragte, warum KI-Stimmen überhaupt menschlich klingen müssen, und schrieb: „Damit man Menschen dazu bringen kann, ihre Wachsamkeit zu senken.“ Der Journalist Shiv Aroor schrieb: „Betrugsanrufe erreichen bald Pandemie-Niveau.“ Wir halten die Skeptiker für diejenigen, die die bessere Frage stellen.

Natürlichkeit ist das Feature und die Angriffsfläche

Blocks Argument lautet, heutige Sprach-KI wandle Sprache in Text um und werfe weg, worauf es ankommt: Sarkasmus, einen Seufzer, eine brüchige Stimme. Das ist eine berechtigte Kritik an hölzernen Assistenten. Doch die Eigenschaften, die ein Gespräch echt wirken lassen, braucht auch ein Telefonbetrüger: eine Pause, die nach Zögern klingt, ein Lachen, das spontan wirkt, eine Stimme, die in Echtzeit auf das Gesagte reagiert.

Das Detail der lokalen Ausführung verdient mehr Aufmerksamkeit, als es bekommt. Block stellt es als Vorteil dar. Wir weisen darauf hin, dass ein Modell auf einem Laptop ein Modell ohne Server am anderen Ende ist, der Anfragen begrenzen, protokollieren oder abschalten könnte. Das ist eine Meinung zu Anreizen, keine Behauptung über Blocks Pläne, und das Unternehmen hat nicht gesagt, wie es mit Missbrauch umgehen würde. Aber „läuft auf einem High-End-Laptop“ und „vertraue der Stimme am Telefon“ passen schlecht zusammen.

Das Sicherheitsargument stimmt, weist aber in die falsche Richtung

Block nennt drei Gründe für Dessa: Neugier, besseres Verständnis zwischen Mensch und KI sowie Sicherheit. Das Sicherheitsargument lautet, KI sei für Emotionen nahezu taub, und ein System, das jemanden in schwerer Not übersehe, wäre ein Problem. Das halten wir für aufrichtig und vernünftig. Es ist aber eine Sicherheitsgeschichte über den Nutzer vor dem Modell, nicht über die Person, die von ihm angerufen wird.

Das Unternehmen bietet einer kleinen Gruppe von KI-Sicherheitsforschern frühen Zugang an, um Risiken zu finden, die es nicht vorhergesehen hat. Das ist ein guter Schritt. Doch das Betrugsrisiko ist nicht unvorhergesehen. Zwei Reaktionen am ersten Tag haben es benannt. Ein Prüfprozess, der darauf wartet, dass Außenstehende das Offensichtliche entdecken, ist kein Plan.

Was Block als Zahlungsdienstleister tun sollte

Wenige Unternehmen sind besser aufgestellt, Stimmauthentizität als Produktproblem zu behandeln. Block betreibt Zahlungsdienste für Verbraucher und Geldtransfers, und seine Kunden trifft es genau dann, wenn eine Stimme jemanden überzeugt, Geld zu senden. Im von uns geprüften Material sagt Block nichts zur Herkunftskennzeichnung. Unsere Empfehlung vor jeder öffentlichen Veröffentlichung:

• Kennzeichnung einbauen: Ein Modell, das sich gegenüber Dritten als synthetisch zu erkennen gibt – standardmäßig, nicht als Opt-in.
• Werkzeuge zum Herkunftsnachweis zusammen mit dem Modell ausliefern, damit erzeugtes Audio zumindest von Blocks eigenen Systemen erkannt werden kann.
• Die Ergebnisse der Red-Team-Tests der Sicherheitsforscher veröffentlichen, nicht nur das Lob.

Vernünftige Menschen können einwenden, dass sich Wasserzeichen entfernen lassen und Kriminelle sich nicht daran halten. Das stimmt, und niemand sollte behaupten, dies löse das Betrugsproblem. Aber Voreinstellungen zählen im großen Maßstab, und die ehrlichen Varianten dieser Technologie sollten nicht diejenigen sein, die Täuschung erleichtern.

Fazit

Dessa mag durchaus ein echter technischer Fortschritt sein; Block gibt auf der Dessa-Seite an, das Modell habe Sprache mit hunderte Male weniger Wörtern gelernt, als LLMs benötigen, doch wir können das nicht unabhängig prüfen. Bewunderung ist angebracht. Aber eine Forschungsvorschau ist der günstigste Zeitpunkt, um zu klären, wie eine Technologie missbraucht werden kann, und nach der Veröffentlichung ist es der teuerste, dies zu ignorieren. Block will, dass die Welt eine Stimme hört, die sich wie ein Mensch anfühlt. Unsere Haltung: Solange das Unternehmen nicht zeigt, woran jeder erkennt, dass es keiner ist, hat es ein Betrugsproblem, bevor es ein Produkt hat.