Resumen del debate: Riesgos de la IA

Los que entrenaron la IA avisan: el reloj corre y nadie lo controla​

Dentro de Anthropic hay una expresión que hasta hace poco no salía de los pasillos: crunch time. Hora de la verdad. Los empleados la usan para nombrar un plazo muy concreto, el año o los dos años que calculan que quedan antes de saber si la inteligencia artificial que están construyendo se les escapa de las manos. La otra palabra que circula es más vieja en Silicon Valley, pero aquí ha cambiado de significado: endgame. La partida final.

Quien las sacó a la luz pública es Jacob Coxon, 27 años, que hasta el 8 de septiembre trabajaba en Anthropic entrenando los modelos que hoy, reconoce, le dan miedo. No es el primero. Antes que él lo hicieron al menos una decena de empleados de OpenAI, Anthropic y Google: un premio Nobel, una consejera, media docena de investigadores de seguridad y, últimamente, gente que ni siquiera trabajaba en eso difuso que llaman «alineamiento». Coxon cree que la IA «puede matarnos antes de 2030».

Del temor filosófico al cálculo de probabilidades​

La cadena de denuncias arranca en 2021, cuando el miedo era solo intuición filosófica. Paul Christiano, el investigador que ayudó a inventar la técnica de entrenamiento que hoy sostiene a ChatGPT y a Claude por igual, dejó OpenAI ese año para fundar el Alignment Research Center. Le preocupaba que usar modelos para entrenar a la siguiente generación produjera una «explosión de capacidades» que sus creadores no pudieran controlar. Hablaba del entrenamiento por refuerzo y de sistemas capaces de «socavar el control humano, buscar poder y recursos, y ocultar sus huellas».

El salto al gran público lo dio Geoffrey Hinton en mayo de 2023. Vicepresidente de Google, premio Turing y después Nobel de Física, anunció su marcha sin denunciar ningún incidente concreto. Su argumento era el ritmo: «Mire cómo era hace cinco años y cómo es ahora. Observe la diferencia y extrapole hacia delante. Eso asusta». Fue noticia y se archivó como la reflexión de un científico mayor.

Noviembre de 2023: el control que falló por dentro​

Seis meses después el miedo cambia de naturaleza. Helen Toner, entonces consejera de OpenAI, vota junto a otros tres miembros la destitución de Sam Altman. Tardará medio año, por los acuerdos de confidencialidad, en explicar por qué: acusa a Altman de ofrecer información inexacta sobre los procesos de seguridad «en múltiples ocasiones». El testimonio convierte una crisis leída como choque de egos en una acusación concreta: el sistema de control había fallado, y lo contaba alguien que estuvo en la sala.

Mayo de 2024 fue el mes más activo. El día 14, Ilya Sutskever, cofundador de OpenAI, anuncia su marcha. Tres días después se va Jan Leike, codirector del equipo de «superalineación»: «En los últimos años, la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a productos vistosos». Días más tarde, la empresa disolvió el equipo.

Renunciar a dos millones antes que callar​

Daniel Kokotajlo, del equipo de gobernanza, se había ido en abril. Dijo haber «perdido la confianza en que se comportaría de forma responsable en el momento de llegar a la AGI». Lo que no se supo hasta después: se negó a firmar la cláusula de confidencialidad de por vida que OpenAI exigía a los salientes y renunció así a unos dos millones de dólares en acciones consolidadas. «El mundo no está preparado y nosotros no estamos preparados», añadió.

Ese detalle es el que más se discute. Hay quien sostiene que, si de verdad crees que esto se va al garete en dos años, la cláusula te importa un bledo: no hay millones que valgan sin mundo donde gastarlos, y que el que calla por dinero está confesando, sin querer, que no se cree su propio apocalipsis. En junio, Kokotajlo impulsó la carta El derecho a advertir, y uno de los firmantes, William Saunders, acabó sentado ante el Senado de Estados Unidos con un testimonio escrito mucho más concreto.

El punto exacto donde el análisis se atasca es este: la industria comparte en privado un cálculo de probabilidades, el p-doom, que empieza a admitir en público con matices. Nadie ha explicado todavía qué umbral de riesgo obligaría a parar.