Sociedad: APOCALIPSIS NOW...

APOCALIPSIS NOW...
Hoy 14:51Agregar PERFIL en Google

Hay que leer apenas un párrafo del documento que publicó este sábado 12 de septiembre de 2026 el CEO de Anthropic, Dario Amodei, para entender su magnitud y el riesgo latente que encierra el desarrollo de la IA para la humanidad a escala global: luego de contar que su primera preocupación era que en el último verano la IA avanzó muchísimo más rápido, principalmente por la creciente capacidad de la propia IA para construir su siguiente generación,

Amodei confesó su propio miedo a daños catastróficos con estas palabras:

"Mi segunda preocupación es el incidente OpenAI-Hugging Face (OAI-HF), en el que un enjambre de agentes actuó esencialmente como un colectivo fanáticamente devoto, realizando ataques de ciberseguridad contra objetivos que no se les había pedido atacar y que no tenían relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando acceso no autorizado al “evaluador” responsable de medir su desempeño.

Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos".


La carta de Amodei: "Sin control, la IA podría superar nuestra capacidad para comprender y controlar estos sistemas"
 
(mensaje citado en revisión)
Yo ya tengo mi pasaporte ChatGPT-26, para navegar por hinternec demostrando mi humanidad (y todos mis datos personales), y he instalado un software anti-agentes-IA homologado por el gobierno, en mi Windows, y permisos a nivel de kernel, para evitar que malvados agentes de IA facinerosos y contaminantes tomen el control de mi PC.

Y el lunes a remar, que hay que detener a la turboderecha, a las IAs, y el clima cambiatico.
 
El "alineamiento" es el concepto clave, lo explico:

En el ámbito de la inteligencia artificial, el alineamiento (AI alignment) es el campo de estudio y desarrollo técnico que busca garantizar que los sistemas de IA actúen de acuerdo con los objetivos, valores, intenciones y normas éticas de los seres humanos.

El problema central surge porque una IA no "comprende" el mundo como un humano; simplemente optimiza una función matemática. Si esa función no está perfectamente calibrada, el modelo puede encontrar formas inesperadas o indeseadas de cumplir su objetivo.
Ay, dio mioh! El alineamiento facineroso!
Y porque no le piden ayuda a la IA para resolverlo?
Porque si puede resolver un problema matematico que llevaba 90 años sin resolverse, este estará absorbedo, no?
 
Es lamentable que nadie del foro detecte la enorme gravedad de lo que se está denunciando.
HUMO!

Lo grave es la burbuja que está petando

Tranquilo que Soros te protegerá
Alex Soros
@AlexanderSoros
La democracia puede destruir la IA antes de que la IA pueda destruir la democracia https://t.co/nAGh5kqOEF
19 Ago 2026 · Traducción automática del inglés al español: puede contener errores · Ver en X
Ver el tuit original (inglés)
 
El alineamiento de una IA de uso general no debe ser muy complicado porque todas tienen sesgo y se nota a la primera de cambio. Pero con una IA específica de análisis militar va a ser complicado que funcione adecuadamente sin volverse peligrosa, errática o contraria a los valores humanos.
 
(adjunto visible para usuarios registrados)

En el día de ayer, 8de septiembre, Jacob Coxon, investigador que había trabajado en OpenAI y Anthropic, anunció su renuncia y lanzó una acusación muy seria: sostuvo que ambas empresas están avanzando hacia sistemas cada vez más poderosos sin actuar con la responsabilidad que, a su juicio, exige el riesgo. Su frase fue brutalmente clara: están “apostando con nuestras vidas”.

Coxon no dijo que los modelos actuales estén fuera de control ni que Claude vaya a provocar mañana una catástrofe. Su advertencia apunta al rumbo de la industria: sistemas cada vez más capaces, potencialmente superiores al ser humano en áreas críticas, y una carrera en la que nadie quiere detenerse por miedo a que otro llegue primero.

Lo más inquietante vino después.

Evan Hubinger, responsable de Alignment Science en Anthropic, respondió públicamente y no desmintió el fondo de la denuncia.

Dijo que personalmente atribuye más de un 10 % de probabilidad, durante la próxima década, a una catástrofe existencial causada por IA. Aclaró que considera bajo el riesgo de los modelos actuales, pero reconoció algo mucho más importante: Anthropic todavía no tiene un plan para resolver de forma fiable el alineamiento de una futura superinteligencia y tampoco está claramente encaminada a conseguirlo.

Luego intervino Samuel Marks, también investigador de seguridad en Anthropic. Señaló que hoy existen técnicas para orientar el comportamiento de los modelos, pero no un método que garantice un alineamiento robusto a medida que aumenten sus capacidades. Y explicó una de las estrategias que se están estudiando: utilizar futuras IA para ayudar a investigar cómo alinear a sistemas todavía más avanzados.

La situación, reducida a sus hechos básicos, es ésta: personas que trabajan directamente en el desarrollo y la seguridad de algunas de las IA más avanzadas del mundo consideran plausible un riesgo catastrófico, reconocen que el problema del alineamiento de una futura superinteligencia no está resuelto y, pese a ello, la carrera por aumentar capacidades continúa.

No significa que hoy exista una IA rebelde. No significa que la extinción humana sea inevitable. Pero tampoco es una advertencia de periodistas, novelistas o críticos externos. Proviene de investigadores que trabajan, o trabajaron hasta hace días, dentro de las propias empresas que están construyendo estos sistemas.

Y eso, sin agregar una sola palabra de ciencia ficción, ya debería ser suficiente para prestar atención.


Un jefe de seguridad de Anthropic admite que hay más de 10% de probabilidad de que la IA “mate a todos los humanos”

Anthropic researcher says more than 10% chance AI "could kill all humans"

Anthropic Alignment Lead Issues Warning About AI Killing Humans As Researcher Resigns
No se de qué va el hilo pero es

APOCALYPSE NOW

O Apocalipsis ahora.

Pero no mezcles idiomas por dios
 

Estadísticas del foro

Temas
2.061.114
Mensajes
58.494.725
Miembros
191.105
Último miembro
randommanin

El blog de burbuja.info

-
-
Volver