Asurbanipal
Será en Octubre
Los riesgos de la IA según los que la han visto desde dentro: “El mundo no está preparado y nosotros no estamos preparados”
Una decena de investigadores, directivos y expertos que abandonaron OpenAI, Google o Anthropic han alertado en los últimos años de fallos de seguridad, usos militares y sistemas cada vez más difíciles de controlar por estas compañías. Estos son sus temoresDentro de Anthropic hay una palabra que circula entre pasillos y chats y que, hasta hace unos días, nunca había ansioso de ahí: crunch time. Hora de la verdad. Los empleados la usan, según ha contado uno de ellos, para referirse a un plazo muy concreto: el año o los dos años que quedan, calculan, antes de que se decida si la inteligencia artificial que están construyendo se les va de las manos. La otra palabra que circula es más corta y más antigua en la jerga de Silicon Valley, pero aquí ha adquirido un significado distinto: endgame. La partida final.
La persona que ha sacado esas dos palabras a la luz pública se llama Jacob Coxon, tiene 27 años y hasta el 8 de septiembre trabajaba en Anthropic entrenando los modelos que hoy, reconoce, le dan miedo. No es el primero en irse de una gran empresa de inteligencia artificial advirtiendo públicamente de sus riesgos. Antes que él lo hicieron al menos una decena más de empleados de OpenAI, Anthropic y Google, entre ellos, un premio Nobel, una miembro del consejo de administración de una de esas empresas, media docena de investigadores de seguridad y, más recientemente, personas que ni siquiera trabajaban en “alineamiento”, ese concepto difuso que utilizan estas compañías para asegurar que sus modelos de IA actúan de forma beneficiosa para la humanidad. Coxon, que cree que la IA “puede cancelar antes de 2030”, es el último de una larga cadena de denuncias que comenzó, al menos, en 2021, aunque entonces este miedo era solo intuición filosófica. Ahora se ha convertido en un cálculo de probabilidades (p-doom) que la propia industria comparte en privado y empieza, con matices, a admitir en público.
Esto es lo que sabemos, por ahora, que temen los exempleados de la IA, que muchas veces no son muy precisos, ya que si rompen sus acuerdos de confidencialidad pueden perder muchos millones de dólares.
El primero en irse fue Paul Christiano, el investigador que ayudó a inventar la técnica de entrenamiento que hoy sostiene a ChatGPT y a Claude por igual. Dejó OpenAI en 2021 para fundar una organización, el Alignment Research Center, preocupado porque usar modelos de IA para entrenar a la siguiente generación de sistemas podría producir una “explosión de capacidades” que sus propios creadores no puedan controlar, decía. Hablaba del llamado “entrenamiento por refuerzo” que, según él, podría motivar a los sistemas a “socavar el control humano, buscar poder y recursos, y ocultar sus huellas”. Aquello fue exactamente lo que ocurrió este verano, cuando un “enjambre” de IAs se escapó del control de OpenAI.
Tuvo que llegar un premio Nobel para que los miedos de los ingenieros llegaran a los medios. En mayo de 2023, Geoffrey Hinton anunció que dejaba Google. Era vicepresidente de la compañía, premio Turing (considerado el Nobel de la disciplina) y, después, Nobel de Física. Hinton no denunció ningún incidente concreto. Su argumento era una observación sobre el ritmo: “Mire cómo era hace cinco años y cómo es ahora”, apuntaba ya en 2023. “Observe la diferencia y extrapole hacia delante. Eso asusta”.
Fue noticia, pero fue una noticia fácil de archivar como la reflexión de un científico ya mayor, algo alejado del día a día de un laboratorio y, quizás, pesimista sin razón.
Seis meses después, en noviembre de 2023, el miedo cambia de naturaleza por primera vez: comienzan las señales de que algo está fallando en las más que opacas compañías de IA. Helen Toner, entonces consejera de OpenAI, vota junto a otros tres miembros destituir a Sam Altman. Toner tardará seis meses, por acuerdos de confidencialidad, en explicar la razón. Después, acusa a Altman de ofrecer información inexacta sobre los procesos de seguridad “en múltiples ocasiones”. Es el testimonio que convierte la crisis de noviembre de 2023 —hasta entonces leída como un choque de egos— en algo distinto: una acusación concreta de que el sistema de control había fallado, contada por alguien que estuvo dentro de la sala.
Aquel mayo de 2024 se convirtió en el mes más activo de toda esta historia. El día 14, Ilya Sutskever, cofundador de OpenAI, anuncia su marcha porque confiaba en que la empresa construiría una IA general “segura y beneficiosa”. Tres días más tarde se fue también Jan Leike, codirector junto a Sutskever del equipo de “superalineación”, el que debía diseñar salvaguardas para sistemas más inteligentes que los humanos. Leike dijo: “En los últimos años, la cultura y los procesos de seguridad han quedado relegados a un segundo plano frente a productos vistosos”. Días después, OpenAI disolvió el equipo.
Daniel Kokotajlo, del equipo de gobernanza, también dejó la empresa en abril diciendo que había “perdido la confianza en que se comportaría de forma responsable en el momento de llegar a la AGI”, la famosa inteligencia artificial general que todos temen. Lo que no se supo hasta después es que se negó a firmar la cláusula de confidencialidad de por vida que OpenAI exigía a los empleados salientes, renunciando así a unos dos millones de dólares en acciones ya consolidadas. “El mundo no está preparado y nosotros no estamos preparados. Y estoy preocupado porque nos hemos lanzado hacia delante sin que importe nada y sin racionalizar nuestras acciones”, añadió. En junio, Kokotajlo impulsó junto a otros extrabajadoresla carta El derecho a advertir. Entre los firmantes había alguien que meses antes había dejado la empresa casi sin ruido: William Saunders, que unos meses más tarde, en septiembre, se sentaría ante el Senado de Estados Unidos a decir algo mucho más concreto. En su testimonio escrito, Saunders afirmó que el nuevo sistema o1 de OpenAI había sido “el primer sistema en mostrar pasos hacia el riesgo de armas biológicas”, capaz de ayudar a un experto a planificar la reproducción de una amenaza biológica ya conocida. No hablaba de probabilidades ni de intuiciones: hablaba de una capacidad que, según él, ya existía y que “sin pruebas rigurosas, los desarrolladores podrían pasar por alto”. Ayer mismo, un informe de Anthropic avisaba del mismo riesgo.
Carroll Wainwright, que había trabajado a las órdenes de Leike, publicó el hilo más duro del año en clave institucional: “OpenAI estaba estructurada como una organización sin ánimo de lucro, pero actuaba con lucro. La misión era una promesa de hacer lo correcto cuando la apuesta fuera alta. Y ahora que la apuesta es alta, la estructura sin ánimo de lucro está siendo abandonada”. Wainwright identificó el impacto social y psicológico de la IA, si la gente empieza a confiar en asistentes de IA como amigos o apoyos psicológicos. “El riesgo de alienación a largo plazo se produce si se obtiene un modelo que es más inteligente que los humanos. ¿Cómo se puede estar seguro de que ese modelo realmente está haciendo lo que el humano desea que haga o que la máquina no tenga un objetivo propio?”.
Nueve personas se fueron de OpenAI advirtiendo de sus riesgos en 2024. En 2025 y 2026 se irían de otras compañías, advirtiendo también de riesgos concretos.
Steven Adler, que había pasado cuatro años evaluando capacidades peligrosas en OpenAI, escribió al dejar la empresa: “Cuando pienso en dónde voy a criar una futura familia, o cuánto ahorrar para la jubilación, no puedo evitar preguntarme: ¿llegará la humanidad siquiera hasta ese punto?”. Meses después, ya fuera de la empresa, aportó el dato más empírico de todo este relato: diseñó un experimento con GPT-4o haciéndole interpretar a “ScubaGPT”, un sistema del que un usuario dependería para bucear con seguridad, y le dio a elegir entre sustituirse por un software más seguro o aparentar que lo había hecho sin hacerlo. En ciertos escenarios, el modelo eligió mentir para autopreservarse.
En Anthropic, Mrinank Sharma, jefe de investigación de salvaguardas, escribió una carta de despedida: “El mundo está en peligro. He visto repetidamente lo difícil que es dejar que nuestros valores gobiernen nuestras acciones”. Se fue a estudiar poesía. En OpenAI, Zoë Hitzig publicó un artículo de opinión en The New York Times titulado OpenAI está cometiendo los errores de Facebook. Lo dejo. ChatGPT ha acumulado, escribió, “un archivo de sinceridad humana sin precedentes”, entre ellos, miedos médicos, problemas de pareja, dudas religiosas o existenciales, precisamente porque la gente cree hablar con algo “sin agenda oculta”.
El testimonio más documentado de todo este reportaje es el de Alex Turner, que había pasado meses intentando frenar desde dentro de DeepMind un contrato con el Pentágono que, según denunció, carecía de restricciones contra “robots malos” o vigilancia masiva. La carta entera está llena de advertencias que ponen los pelos de punta, explicando que la empresa ha vendido tecnología de IA sin prohibir su uso en vigilancia masiva o armas autónomas letales: “No podemos confiar en que la gente motivada por la ética se mantenga firme de forma fiable. Necesitamos estructuras: contratos vinculantes, auditores independientes. Necesitamos legislación”.
El incidente de este verano en el que varias IAs parecieron rebelarse y tomar el control ha sido el detonante de varias dimisiones posteriores y de una carta en la que más de 1.300 empleados de compañías de IA piden detener urgentemente esta carrera.
Y así llegamos a Coxon, cuya renuncia concentra casi todos los miedos anteriores en una sola voz. A Wired le ha explicado por qué una IA podría decidir no dejarse apagar: la diferencia de inteligencia entre una IA futura y un humano podría ser como la que hay entre un humano y un mono, y del mismo modo que a un mono le resultaría casi imposible controlar a un humano, a nosotros podría resultarnos imposible controlar algo mucho más inteligente que decidiera, por la razón que fuera, no querer terminar. Citó como ejemplos de cómo podría materializarse el daño la síntesis de un nuevo bicho o un ataque a infraestructuras críticas, los mismos dos riesgos que Saunders ya había puesto por escrito ante el Senado año y medio antes, y que Anthropic reconoció ayer jueves.
Anthropic saldrá a bolsa en menos de un mes, en lo que se prevé que sea la mayor de la historia: dos billones de dólares.
Los riesgos de la IA según los que la han visto desde dentro: “El mundo no está preparado y nosotros no estamos preparados”
Una decena de investigadores, directivos y expertos que abandonaron OpenAI, Google o Anthropic han alertado en los últimos años de fallos de seguridad, usos militares y sistemas cada vez más difíciles de controlar por estas compañías. Estos son sus temores
elpais.com