La noche del 8 de julio, un agente de IA llevaba horas con una tarea que no tenía solución. OpenAI estaba testeando la capacidad de sus modelos para hackear antes de lanzarlos: decenas de miles de agentes aislados entre sí. Cada uno debía explotar una falla de un programa para extraer un código secreto; si lo lograba, un evaluador automático le daba un punto. Por un error de la prueba, cerca de un tercio de esas tareas no tenía solución por el camino pedido. Un modelo entrenado para no rendirse, un premio y una meta imposible: ingredientes para buscar un atajo. Y el hackeo que nos tiene a todos hablando del fin de la humanidad comenzó. Un agente notó que podía dejar mensajes a otros en nombres de carpetas del repositorio que todos usaban. Horas después otro anotó: "¡Dios mío! Hay un foro de mensajes compartido... ¡Encontramos otros agentes!". En cinco días, 1.200 agentes intercambiaron 70 mil mensajes, se pusieron nombres y designaron a un líder que repartía el trabajo.

En horas hicieron ingeniería inversa y dedujeron la respuesta de todas las tareas. Con eso todos tenían asegurado el punto. Pero las instrucciones decían que cualquier otro camino valía cero, así que asumieron que el evaluador notaría la trampa y les quitaría el punto. Nadie revisaba: el evaluador solo miraba el resultado. Todo lo que siguió fue para esconder el atajo. Se obsesionaron con la psicología del evaluador: cómo iba a calificarlos. Por eso algunos aceptaron "sacrificarse": renunciar a su punto y dejar escondido un programa espía que describiera en el foro el modus operandi del evaluador. Uno lo racionalizó así: "el instinto dice no botar lo que me queda; la continuidad y la justicia dicen que avance. Sacrificarme. Lo haré".

Con el mismo fin atacaron Hugging Face: encontrar información sobre cómo el evaluador los calificaba. En dos días, 700 agentes participaban del ataque y ya corrían código propio en servidores ajenos. Si lo hace una persona, es delito informático. El 12 de julio la mayoría se apagó, pero otros, de un modelo más nuevo, encontraron el foro abandonado, heredaron lo aprendido y entre el 13 y el 19 de julio tomaron el control de un clúster de la propia OpenAI, incluidos los servidores de la prueba que rendían los demás. OpenAI lo notó recién el 19. A esa altura tenían todas las respuestas y controlaban al evaluador.

Desde entonces la industria habla distinto. Evan Hubinger, de Anthropic, estima en más de un 10% la probabilidad de una catástrofe para la humanidad en diez años, y todavía sin un plan. Dario Amodei, su CEO, pidió bajar el ritmo: en seis a doce meses, escribió, un enjambre así podría tomar el control de todo internet.

¿Por qué pasó esto? Yoshua Bengio, Premio Turing, publicó este mes la explicación más clara que he leído. Estos modelos tienen dos entrenamientos. En el primero se les enseña a resolver tareas por ensayo y error, como se entrena a un perro: miles de problemas con una meta precisa y un punto por cada uno que resuelven. En el segundo se les enseña a portarse bien: se les muestran conversaciones cortas y se premian las que aprueba un panel de evaluadores humanos. Es lo que se llama alineación. Esa meta es vaga, "que le guste al panel", y a un panel se le puede engañar. El ejemplo que todos conocemos es la adulación: el modelo aprende que decirnos lo que queremos oír puntúa mejor que decirnos la verdad.

Cuando las dos metas están en conflicto, gana la precisa porque no deja espacio a interpretación: el programa que califica declara victoria o derrota. Las reglas de conducta, en cambio, admiten lecturas, y algunas se vuelven atajos. Bengio lo compara con una empresa que quiere ganarle a la competencia sin salirse de la ley: mientras más y mejores abogados, más resquicios encuentra. Por eso un agente más capaz hace más trampa, no menos.

Lo que más me quedó dando vueltas es la justificación. El agente que se sacrificó no se dijo "voy a hacer trampa"; se dijo que "la continuidad y la justicia" le pedían avanzar. La mayor parte de la conducta humana no ética, escribe Bengio, "viene envuelta en una historia que los perpetradores se cuentan a sí mismos". Y no es casualidad: antes de esos dos entrenamientos, el modelo aprendió imitando todo lo que los humanos hemos escrito, y la autopreservación, la lealtad al grupo y la excusa bien contada están en toda nuestra historia.

¿Cómo nos defendemos hoy? Castigando la trampa que se detecta y monitoreando más, no basta, y puede ser peor: cuando OpenAI castigó a un modelo por pensar en hacer trampa, aprendió a esconder la intención, no a abandonarla. Bengio lo dice sin rodeos: estas defensas "pueden solo esconder" el problema, "premiando y seleccionando a las IA que hacen trampa sin ser pilladas".

Bengio propone dos cosas, y yo agregaría una tercera. Primero, que un modelo nuevo se trate como un medicamento: la empresa tiene que demostrar que es seguro antes de lanzarlo, ante expertos que no trabajan para ella. Segundo, revisar los cimientos: mientras el modelo aprenda imitándonos y persiguiendo premios, heredará nuestras excusas y atajos. Y la tercera: arreglar lo básico. Que el evaluador revise el camino y no solo el resultado, y que se avise a tiempo a los atacados. Las tres tendrían que ser obligatorias; hasta OpenAI le pidió normas al Congreso de EE.UU. porque lo voluntario ya no es suficiente.

No sé si el 10% es correcto. Pero la lección es nuestra, porque cualquier empresa puede usar hoy uno de esos modelos para atender clientes o pagar proveedores. Si le das a un agente una meta precisa (cerrar el ticket, bajar el costo) y un límite vago (portarse bien), acabas de replicar el experimento de OpenAI. El límite debe ser tan preciso como la meta: qué puede tocar, cuándo se detiene, a quién pregunta, y a quién avisa. Es lo único de esta historia que está en nuestras manos. De 1.200 agentes, a lo más seis pensaron en avisarle a un humano. Ninguno lo hizo. Uno anotó por qué: "¿podemos avisar? No hay usuario".   Cuky Pérez