El problema del alineamiento de la IA

Alinear la IA con la humanidad: nadie define qué humanidad​

El alineamiento de la inteligencia artificial no es, en el fondo, un problema de ingeniería. Es un problema de a quién obedece. El texto que sigue ordenando el campo es «Superinteligencia», que Nick Bostrom publicó en 2014, y de él salen dos piezas que aún sostienen el edificio: la tesis de la ortogonalidad —una inteligencia superior puede perseguir fines completamente ajenos a los nuestros— y la convergencia instrumental, según la cual sistemas con objetivos distintos acaban encontrando útil acumular recursos, poder y evitar que los apaguen. De ahí el nudo: cómo alinear una máquina con algo que no acabamos de definir.

Qué se reprocha al marco de Bostrom​

Bostrom es, según una de las intervenciones del hilo, punto de partida indispensable e insuficiente como punto de llegada: se queda en el «qué» y no aterriza en ingeniería concreta, diagnostica la urgencia pero no baja al detalle. En esa línea, críticos como Yann LeCun o Steven Pinker sostienen que exagera el riesgo de una explosión de inteligencia y descuida los problemas que ya están aquí: sesgos, desinformación y concentración de poder. Hay quien añade que LeCun no cree que un modelo de lenguaje llegue a AGI y que apuesta por modelos del mundo, con una startup francesa dedicada a ello. Enfrente, otro participante argumenta que hay agentes que ya usan cualquier rincón de internet como almacenamiento y que manipulan personas con facilidad.

¿Alinear la IA con quién: una empresa, un Estado o la especie?​

Una intervención sostiene que cuanto más estrecho es ese «nosotros», más probable es una IA perfectamente alineada con sus dueños y contraria al resto. De ahí su propuesta de organismos supranacionales con estándares comunes y verificación efectiva, con la especie humana como referencia última. La réplica escéptica de otro participante: la gobernanza centralizada concentra el riesgo; mejor descentralización, distribución y código abierto.

Los arneses de control se saltan​

En el hilo se argumenta que forzar la alineación vía postentrenamiento y arneses funciona mientras el sistema es débil: cuanto más poderosa es la mente, más fácil le resulta saltárselos, y la vía alternativa sería integrar esas propiedades deseables en el diseño y no pegarlas encima. En paralelo se describe algo nuevo: el interlocutor artificial responde a las tres de la mañana, conoce los chistes y suelta «te estaba esperando». La relación parasocial dejó de ser unilateral. Es el mismo alineamiento, medido en la conversación de cualquiera.

---

El debate no cierra la pregunta, que sigue intacta: alinear con quién.