Anthropic le abre la cocina a una auditoría externa con llave de empleado: qué implica para el futuro del control de la inteligencia artificial

Le cuento de qué se trata, porque la noticia parece técnica pero toca un punto que nos afecta a todos los que usamos, queramos o no, sistemas de inteligencia artificial: quién controla a quién controla la inteligencia artificial. Anthropic, una de las empresas más grandes del mundo en desarrollo de modelos de IA, acaba de darle a seis investigadores independientes un acceso equivalente al de un empleado propio para que revisen sus modelos desde adentro.

Los seis investigadores pertenecen a METR, una organización sin fines de lucro (es decir, que no busca ganar dinero sino un objetivo específico) dedicada a evaluar sistemas de inteligencia artificial. Desde hace poco trabajan literalmente dentro de las oficinas de Anthropic, con computadoras de la empresa, espacio físico asignado y las mismas herramientas internas que usa el personal del área de evaluación de riesgos. Pueden hablar con los empleados como un colega más.

Qué pueden ver y qué no

El acceso tiene tres límites que la empresa se reservó: datos de clientes, información protegida por secreto profesional entre abogado y cliente, y detalles sobre la arquitectura técnica de los modelos. Fuera de eso, los auditors pueden revisar cómo se entrenaron los sistemas, cómo funcionan sus mecanismos de seguridad y qué pasa puertas adentro.

La clave del asunto está en otro punto: este grupo de seis puede publicar sus hallazgos sin que Anthropic los bloquee. Y acá va un detalle importante que muchos medios no subrayan: la empresa sí puede pedirles que redacten (es decir, que oculten) cierta información que entre en categorías sensibles predefinidas. Pero METR queda en libertad de señalar públicamente si esa redacción les parece justificada o no. O sea, pueden decir "la empresa nos pidió callar esto y nosotros no estamos de acuerdo".

Tres niveles para llegar al fondo

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan pedir autorización antes de publicar.
• Nivel intermedio: más información y pueden publicar sin pedir permiso.
• Nivel alto (el que tiene hoy METR): acceso de empleado más la facultad de publicar evaluaciones, reportes de incidentes y análisis de prácticas sin que la empresa pueda impedirlo.

Anthropic justificó por qué hace falta tanto acceso y lo dejó por escrito en cuatro condiciones que, según la propia compañía, se tienen que cumplir para que una auditoría sirva de verdad. La primera es experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente. Traducido: que el que audita sepa distinguir si la IA se porta bien de verdad o solo lo aparenta.

• Segunda condición: independencia económica y operativa respecto de la empresa auditada. Es decir, que no le deba favores ni plata.
• Tercera condición: acceso que vaya más allá de los modelos e incluya cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Cuarta condición: libertad para publicar sin restricciones previas.

La empresa fue bastante honesta al admitir que no puede hacer pública toda su información de seguridad. Reconoció que parte de esos datos podría ser útil para actores maliciosos (personas u organizaciones que quieran usar la IA para hacer daño) o son sensibles desde lo comercial. Por eso eligió un esquema intermedio: acceso profundo para un grupo chico que firma acuerdos exigibles, mientras el resto del personal de METR queda fuera de ese trabajo.

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado. Es decir, no llegaron de cero: ya tenían relación con la empresa y antecedentes de auditoría. Eso les da contexto para mirar con ojos más entrenados.

Qué cambia esto para el usuario común

Aclaro un término técnico por si no quedó claro: cuando hablamos de "modelos de IA" nos referimos a los sistemas de inteligencia artificial que generan texto, imágenes o toman decisiones. Los más conocidos son ChatGPT, Claude (que es justamente de Anthropic), Gemini y similares. Ahora, ¿en qué nos toca a nosotros como usuarios comunes?

Hasta ahora, la seguridad de estos sistemas dependía casi exclusivamente de lo que la propia empresa decidía contar. Si Anthropic decía "nuestro modelo es seguro", había que creerles o confiar en filtraciones. Con este esquema, existe la posibilidad de que un actor independiente, con acceso real a las herramientas, pueda señalar fallas concretas sin que la empresa le tape la boca.

Esto todavía es anuncio, no producto disponible: por ahora solo METR tiene este nivel de acceso en todo el ecosistema. Habrá que esperar a ver qué publican los seis investigadores en los próximos meses para saber si efectivamente encontraron algo o si el esquema funciona como la empresa promete. Mi consejo, si usted usa IA para trabajo, estudio o cualquier cosa seria: no deje de leer lo que METR publique cuando lo haga público. Ahí se va a ver si esta apertura es real o es marketing.