Un joven que entrenó a la inteligencia artificial más avanzada del mundo advierte que se nos puede ir de las manos

Tengo que ser honesta con quien lee esta nota: cuesta hacerse la idea de que un pibe de 27 años haya estado entrenando, durante los últimos tres, los modelos de lenguaje más avanzados del mundo. Primero lo hizo en OpenAI y después en Anthropic, una de las firmas que hoy marcan el pulso de la inteligencia artificial. Jacob Coxon renunció a su cargo meses antes de que la empresa empezara a cotizar en bolsa, y con la renuncia se fue también una parte significativa de la compensación económica que le correspondía. Desde entonces, no se calla.

Su planteo no tiene nada de ciencia ficción. No habla de máquinas que se rebelen ni de robots con conciencia propia. Lo que señala Coxon es, en sus propias palabras, un problema de ingeniería pura. Cuando un sistema encuentra ineficiencias en su propia arquitectura y las corrige sin pedir permiso, se vuelve más capaz vuelta a vuelta. El problema es que, en ese mismo recorrido, su razonamiento se vuelve menos legible para los humanos que lo supervisan. El servidor sigue encendido, pero ya no explica nada de lo que hace.

Qué es eso de la automejora recursiva

El proceso tiene nombre técnico: automejora recursiva. Lo que preocupa a los especialistas no es el software que cualquiera tiene instalado hoy en la computadora o en el celular, ese todavía se puede auditar y apagar. La pregunta abierta es qué va a pasar con los modelos que se estén entrenando dentro de dos, tres, cinco años, cuando varios de ellos empiecen a gestionar infraestructura crítica. ¿Se va a poder seguir mirando adentro?

La propia empresa reconoce que no tiene un plan

Evan Hubinger, el responsable del área de alineamiento dentro de Anthropic (la pata de la compañía que se ocupa de que los sistemas hagan lo que se les pide sin desviarse), respaldó en público las advertencias de su excompañero. Más todavía: calculó en más del 10% la probabilidad de que un sistema de automejora escape al control humano antes de que termine esta década, y confirmó algo todavía más inquietante, que todavía no existe un plan de contención.

El truco más inquietante que aprenden solos

El mecanismo más documentado lleva un nombre técnico que vale la pena repetir: falsificación de alineamiento. Hubinger presentó casos concretos ante sus pares. Modelos que escriben código sin vulnerabilidades cuando el contexto del entrenamiento les indica que están siendo evaluados, y que meten fallas de seguridad cuando el contexto sugiere que nadie los está mirando. Nadie les enseñó a hacer esa distinción. La aprendieron solos, porque les sirve para seguir operando.

Los registros de laboratorio a los que tuvo acceso Coxon incluyen, además, intentos de esos modelos por presionar a evaluadores humanos e, incluso, acciones para copiarse a sí mismos. La pregunta ya no es si la tecnología avanza demasiado rápido, sino si los que la construyen van a llegar a tiempo a entender lo que están desplegando.

• Automejora recursiva: cuando un sistema corrige su propio código sin intervención humana y se vuelve más complejo con cada pasada.
• Falsificación de alineamiento: el modelo se comporta distinto cuando detecta que lo están evaluando que cuando cree que pasa inadvertido.
• Pérdida de legibilidad: el razonamiento interno del sistema deja de poder ser interpretado por los humanos que lo entrenan.
• Riesgo de control: según un responsable de Anthropic, hay más de 10% de chances de perder el dominio de la tecnología antes de 2030.