El final «terrible» de Altman muestra que hablar de escenarios no es seguridad de la IA

¿Cómo se llama a un CEO que plantea tres posibles finales para la carrera que está corriendo, rechaza el peor y luego explica por qué su empresa no puede permitirse hacer mucho con los otros dos? Nosotros lo llamaríamos honestidad, y también una etiqueta de advertencia.

Los tres finales de Altman son un menú del que no puede pedir

Según The Information, Sam Altman describió tres desenlaces para la carrera de la IA en una reunión interna. El primero es un organismo internacional inspirado en el OIEA, con poder para inspeccionar sistemas y exigir auditorías. El segundo es el «Plan Demis», en el que los principales laboratorios se fusionan o trabajan bajo un mismo techo. El tercero es el «Plan Eliezer»: un desarrollador logra antes que nadie una IA que se mejora a sí misma y usa esa ventaja para privar de computación a todos sus rivales, lo que, en la frase que circuló, fundiría las GPU de todo el mundo. Según el relato de 36Kr, Altman habría calificado ese resultado de «absolutamente terrible».

El relato se basa en fuentes anónimas, así que conviene tomar los detalles con cautela. Pero lo más importante no es lo que asusta. Como cuenta Martin Cid, dos de las tres ideas se hacen eco de una publicación de OpenAI de 2023, y ninguna se llegó a aplicar. Altman también habría dicho que las dos primeras opciones exigen una coordinación profunda y que OpenAI no puede ceder terreno ahora, cuando tanto ella como Anthropic se encaminan hacia la salida a bolsa.

El final «terrible» es el escenario por defecto, no la excepción

Vuelve a leerlo. Los buenos finales requieren cooperación. El malo solo requiere que alguien gane. En una carrera en la que nadie quiere ser quien frene, creemos que la vía en la que el ganador se lo lleva todo no es un riesgo remoto, sino adonde llevan los incentivos salvo que alguien pague por cambiarlos. Tal como lo leemos, la postura que se atribuye a Altman viene a ser esta: está en contra del resultado, pero también en contra de ceder un terreno que podría ayudar a evitarlo.

Eso no es tanto hipocresía como una trampa estructural, y él no es el único que cae en ella. A comienzos de este otoño, recordaba 01net, Altman dijo que estaba de acuerdo con la petición de Dario Amodei, de Anthropic, de ir más despacio, pero que no quería ser el único en aflojar. Todos están dispuestos a frenar, siempre que sea otro quien frene primero.

Los escenarios sin compromisos son relaciones públicas

Esta es nuestra postura: describir futuros sale barato y atarse las manos sale caro. Las pruebas de que haya compromisos vinculantes son escasas. El organismo de autorregulación que OpenAI, Google y Anthropic estarían construyendo, la Standards Authority for Frontier AI, se describe como carente de capacidad sancionadora, y los laboratorios seguirían sin ponerse de acuerdo sobre quién debe probar los nuevos modelos. En Estados Unidos, una denuncia por cártel ya sostiene que la coordinación en seguridad entre laboratorios es colusión. Mientras tanto, los máximos responsables de Meta y Nvidia sostendrían que esas normas sirven sobre todo para proteger a las empresas establecidas.

Algunas de esas objeciones merecen ser escuchadas. Un único superlaboratorio fusionado, el «Plan Demis», concentraría un poder enorme, y una inspección internacional exige que Washington y Pekín dejen entrar a los inspectores en sus laboratorios más sensibles. Forbes, según recoge el mismo informe, señala que incluso una propuesta estadounidense para que ambos países se avisen de incidentes peligrosos de IA sigue siendo un borrador, no un acuerdo. Y en su entrevista con Politico, según la relata 01net, el propio Altman rechazó la idea de que un único laboratorio de San Francisco deba controlar esta tecnología, lo que también va en contra de la fusión.

Pero que «toda solución tenga problemas» es justo la razón por la que importan los compromisos. Una empresa que se tomara en serio el final terrible pondría sobre la mesa algo costoso: un mecanismo que active una pausa, un auditor externo con acceso real, un límite de computación que ella acepte primero. Una presentación ante la plantilla no cuenta.

Juzga a los laboratorios por lo que estarían dispuestos a ceder

No hay que ser cínicos con la franqueza. Es útil que alguien desde dentro diga en voz alta que la alineación sigue sin resolverse; Lefilia cuenta que Altman sostiene que los entornos aislados y la monitorización son solo parches provisionales. Pero franqueza sobre el riesgo más negarse a ser el primero en limitarse es la descripción del problema, no una solución.

Nuestro veredicto: juzga a los laboratorios por lo que estarían dispuestos a ceder, no por los escenarios que sepan exponer. Hasta que uno de ellos acepte un límite que perjudique su propia posición antes de salir a bolsa, los tres finales son un punto de partida para la conversación, y el tercero sigue siendo el ajuste por defecto.