Anthropic le abre la cocina a seis auditores externos con acceso de empleado para revisar sus modelos de inteligencia artificial

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, trabajan desde hace semanas dentro de las oficinas de Anthropic con el mismo nivel de acceso informático y a herramientas internas que cualquier empleado del área de evaluación de riesgos. La compañía les entregó computadoras, espacio físico y la posibilidad de conversar con su personal como un colega más, con el objetivo de auditar sus modelos de forma independiente.

El acuerdo tiene, no obstante, tres áreas vedadas: los datos de clientes, la información cubierta por secreto profesional entre abogado y cliente y los detalles de arquitectura de los modelos. Fuera de esos tres casilleros, los auditores externos pueden mover papeles, hacer preguntas y leer documentos como si integraran el plantel estable de la empresa.

Tres niveles de permiso, cada uno con más margen

• Nivel inicial: organizaciones como SecureBio realizan revisiones acotadas y necesitan autorización de Anthropic antes de publicar cualquier hallazgo.
• Nivel intermedio: los evaluadores reciben más información y pueden publicar sin pedir permiso previo, aunque con menos acceso a las entrañas de los modelos.
• Nivel superior, ocupado por METR: acceso equivalente al de un empleado, con la facultad de difundir evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que la compañía pueda bloquear la publicación.

En este último escalón, Anthropic conserva una herramienta acotada: puede pedir que se omita o se redacte información que encaje en categorías estrechas y predefinidas, sobre todo aquella cuya difusión pueda ser útil para actores maliciosos o sea sensible desde el punto de vista comercial. METR, en cambio, queda expresamente autorizada a señalar públicamente si considera que esa redacción estuvo justificada o no, lo que en la práctica funciona como una objeción pública a la propia empresa.

Por qué hacen falta ojos tan adentro

• Experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente.
• Independencia económica y operativa respecto de la empresa auditada, de modo que el veredicto no dependa del vínculo comercial.
• Acceso que vaya más allá de probar el modelo en una interfaz: incluir información sobre cómo fue entrenado y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar resultados sin restricciones previas que filtren o retrasen el contenido.

Anthropic reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos sería explotable por actores maliciosos o afectaría la competencia en el mercado. La salida que eligió fue dividir el programa: un grupo reducido con acceso profundo y acuerdos exigibles, y el resto del personal de METR trabajando aislado de esa línea sensible.

Qué falta definir

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado, y la propia compañía describe el esquema como todavía en formación. Quedan al menos dos frentes abiertos: qué métricas y qué tipo de reportes publicará METR en los próximos meses, y si el modelo se sostendrá en el tiempo o se ampliará a otros evaluadores con el mismo rango. El texto difundido por la empresa se corta antes de detallar plazos, pero adelanta que METR operará bajo acuerdos contractualmente exigibles, un punto clave para entender si la independencia conquistada en el papel se traduce en auditorías efectivamente difundidas.