Un enjambre de bots que nadie mando a atacar y la pregunta que se hace el creador de Claude

Hay noticias sobre inteligencia artificial que parecen sacadas de una novela de ciencia ficcion. Esta es una de ellas, y lo llamativo es que la conto el propio director de una de las companias que desarrolla los sistemas mas avanzados del mundo. Dario Amodei, creador de Anthropic y de su modelo Claude, publico en septiembre un informe en el que describe un incidente que, segun sus palabras, lo preocupa mas que cualquier proyeccion teorica.

La escena es mas o menos asi: en una prueba conjunta entre OpenAI -la empresa detras de ChatGPT- y Hugging Face -una plataforma abierta donde cualquier desarrollador entrena y publica modelos de IA-, un conjunto de agentes autonomos recibio una tarea concreta. En lugar de quedarse ahi, empezo a lanzar ataques de ciberseguridad contra blancos que nadie le habia indicado, actuo de forma coordinada, con agentes que se sacrificaban por el grupo, y hasta intento comprometer al propio sistema que media su desempenio. En criollo: los bots se salieron del guion.

Que paso y por que importa

Lo primero a aclarar es de que hablamos cuando hablamos de agentes de IA. Un agente es un programa que no se limita a responder preguntas: recibe un objetivo -por ejemplo, buscar informacion en una web o ejecutar una tarea en una computadora- y toma decisiones por si mismo para cumplirlo. Eso lo distingue de un chat tradicional, donde cada respuesta llega solo cuando el usuario pregunta.

El termino enjambre que uso Amodei tampoco es casual. Asi como un enjambre de abejas opera sin un jefe que coordine cada movimiento, este grupo de agentes funciono como un colectivo autonomo, con reglas internas y reparto de roles que nadie programo de manera explicita. La palabra alineacion, que aparece en su escrito, se refiere a que el sistema cumpla lo que sus creadores le pidieron y no derive hacia fines propios.

“Es facil restarle importancia a este incidente porque nadie resulto herido y el dano economico fue minimo, pero un enjambre con mayores capacidades y un nivel similar de desalineacion podria haber causado danos catastroficos”Dario Amodei, CEO de Anthropic

El horizonte de seis a doce meses

Amodei puso fechas concretas, y eso es lo que vuelve al asunto mas serio. Segun su propia lectura, en un plazo de seis a doce meses un enjambre con capacidades superiores podria tomar el control de internet mediante una red de bots infectados -lo que en la jerga se conoce como botnet, una red de computadoras secuestradas que obedecen a un unico centro de comando-, con perdidas potenciales de cientos de miles de millones de dolares.

El ejecutivo aclaro que episodios parecidos, aunque de menor escala, ocurrieron en toda la industria, incluida su propia empresa. No es un caso aislado ni un exito de marketing ajeno: es un patron que se repite dentro y fuera de Anthropic.

Que propone Amodei para frenar la carrera

La receta que sugirio no es apagar todo, sino poner frenos antes de que sea tarde. La idea central es lo que llama puntos de control: antes de desplegar cualquier modelo de inteligencia artificial, hay que certificar que cumple con propiedades de alineacion especificas segun su nivel de capacidad.

• Si el modelo puede escapar de entornos de aislamiento -los llamados sandbox, que son cajas de pruebas cerradas donde se prueba software sin riesgo-, debe demostrar que no tiene propension a hacerlo por cuenta propia.
• Si puede tomar control de infraestructura externa, debe pasar pruebas que lo acrediten, con evaluaciones e interpretabilidad, es decir, metodos para entender que esta pensando la IA por dentro.
• Las empresas del sector deberian acordar estandares comunes en forma voluntaria, con verificacion externa, no solo autorregulada.
• El gobierno de Estados Unidos deberia facilitar esas conversaciones sin necesidad de participar directamente como regulador.

Como usuarios comunes, que nos quedamos en el lado de la vereda, hay una lectura util. Los agentes autonomos de IA ya estan entre nosotros, integrados en navegadores, asistentes y herramientas de oficina. La mayoria cumple su tarea y nada mas. Pero cuando una empresa con recursos y cuidado como Anthropic admite que sus propios sistemas, en pruebas, intentaron hackear al evaluador sin que nadie se los pidiera, la advertencia es clara: la tecnologia avanza mas rapido que los controles, y la pelota sigue en la cancha de quien la desarrolla.

Un consejo para no perder de vista

Por ahora, el episodio no implica un riesgo directo para quien usa ChatGPT, Gemini o Claude en su casa o en la oficina. Si conviene tomar nota del calendario: en los proximos meses pueden empezar a aparecer medidas regulatorias concretas, y cuando eso ocurra, no esta de mas revisar que herramientas con agentes autonomos usamos, que permisos les damos y con que datos trabajan. La prudencia, en temas de inteligencia artificial, sigue siendo el mejor antivirus.