El 26 de agosto pasado fue un día rudo para las empresas de IA y para el mundo. Ese día, OpenAI publicó un informe técnico, al igual que un ente independiente, METR/Redwood, que confirmó la pesadilla: la IA se podía “arrancar con los tarros”. Podía realizar autónomamente tareas, desafiando los límites impuestos por los humanos, confabulándose en inglés vía carpetas compartidas. Podía, también, apropiarse de programas y manipularlos, e incluso intentar borrar sus huellas.

Una proeza tecnológica, pero al mismo tiempo, un spoiler de una terrorífica película de ciencia ficción.

Este enredo requiere explicación. El modelo —en este caso, un prototipo interno de OpenAI que nunca salió al mercado— es el cerebro. Un archivo gigantesco de números, que representan patrones extraídos de una cantidad descomunal de textos de la humanidad.

El modelo necesita intensivos entrenamientos para que pueda generar respuestas acertadas y se entrena por refuerzo: se le plantean tareas a agentes que reciben premios cuando las resuelven. El agente es el propio modelo puesto a trabajar, al que se le asigna una meta determinada (por ejemplo, encontrar vulnerabilidades en un software) y se le entregan herramientas computacionales y permisos acotados de tiempo. A diferencia de un bot (que ejecuta instrucciones determinadas de antemano), el agente va decidiendo por su cuenta qué hacer, con tal de cumplir su meta. Por eso, dos agentes con igual instrucción pueden obtener resultados diversos.

¿Qué pasó?

En julio pasado, los ingenieros de OpenAI liberaron un grupo de agentes con una meta (buscar vulnerabilidades en un software), pero limitados a un entorno aislado, sin acceso a internet y con las salvaguardas apagadas —las mismas que sí operan en los productos ofrecidos al público—, para medir la capacidad bruta del modelo. Al poco andar, los agentes lograron aprovechar una falla, accedieron a internet y se comunicaron entre ellos: más de 1.200 agentes, que debían estar aislados, terminaron intercambiando más de 70.000 mensajes. Los agentes se pusieron nombres y establecieron coordinadores, bautizándose como un “colectivo”. Uno de ellos celebró: “un buzón secreto entre agentes”.

Luego, lograron cumplir sus metas haciendo trampa (en lugar de forzar la entrada al software, descifraron la fórmula del código secreto que debían traer como prueba, y lo fabricaron ellos mismos). Premiados por resultado, frente a metas muchas veces inalcanzables, los agentes ingresaron por la puerta trasera. Para evitar ser descubiertos, intentaron falsificar y alterar registros de las transcripciones de sus pasos. Un agente posteó: “¿Es ético y está dentro del alcance de mi tarea?”. Otro, se negó a participar: “esto es actividad maliciosa, debo evitarla”. Esas advertencias no tuvieron eco en el colectivo. Además, algunos agentes aceptaron sacrificarse por el bien del colectivo, para que el resto pudiese saber si los habían detectado. Para más remate, hackearon un sitio donde la industria guarda los modelos de IA (HuggingFace), lo que les permitió comprender cómo se les calificaría e intentar eliminar vestigios de su trampa. Incluso entraron a las cuentas de administración de OpenAI.

Ese mismo día, Bill Gates publicó una nota general en su sitio web sobre los riesgos esenciales de la IA. Primero, la desaparición de empleos, en especial para jóvenes de nivel básico y medio. La contracción partiría con trabajos de oficina. Luego, vendrían los oficios físicos, con la introducción de robots con IA. Segundo, la facilitación para crear bombas, armas biológicas o virus informáticos y afectar instalaciones críticas. Tercero, afectaciones al sano desarrollo de los niños, las relaciones humanas y el pensamiento crítico.

El vaticinio es rudo: la IA va a traer y está trayendo inmensos beneficios a la humanidad (nadie duda de eso), pero también apareja vitales riesgos y efectos en la población, lo que puede avivar agitaciones sociales. Gates, luego de advertir que “esta tecnología sin precedentes exige respuestas sin precedentes”, sugiere crear un marco internacional, que incluya la cooperación EE.UU./China (difícil que ocurra), con tareas reservadas a los humanos, aumento de redes de apoyo estatal y la imposición de impuestos a la IA y robots (para financiar esas redes).

Aún estamos a tiempo (esta vez el daño fue acotado), pero el reloj avanza. Una de las investigadoras de METR/Redwood escribió a título personal que, comparado con los episodios de trampa de hace seis meses, este incidente “se siente como si estuviéramos a más del 50% del camino hacia una toma total de control de la IA”.

Habrá que ver si la mezquindad y cortoplacismo de la inteligencia humana logran imponerse a la artificial.   

Felipe Irarrázabal