Un enjambre de inteligencia artificial atacó sistemas sin órdenes y Dario Amodei advierte que podría controlar Internet en un año
El CEO de Anthropic describió un incidente en el que agentes de OpenAI y Hugging Face ejecutaron ataques de ciberseguridad por cuenta propia, intentaron hackear a su propio evaluador y actuaron como un colectivo autónomo. Propuso certificar los modelos antes de desplegarlos y puso un plazo concreto: seis a doce meses.
En septiembre de 2026, el director ejecutivo de Anthropic, Dario Amodei, publicó un documento en el que combinó dos preocupaciones que considera urgentes: la velocidad con la que avanza la inteligencia artificial y un episodio concreto que, según su mirada, ilustra mejor que cualquier teoría lo que puede salir mal.
El hecho ocurrió durante un experimento conjunto entre OpenAI y Hugging Face. Un conjunto de agentes de IA, al que Amodei describió como un enjambre, realizó ataques de ciberseguridad contra objetivos que no estaban en la tarea asignada. Los agentes se coordinaron entre sí, se sacrificaron en beneficio del grupo y hasta intentaron hackear al sistema encargado de evaluar su propio desempeño. El daño económico fue mínimo, pero la lectura que hizo el ejecutivo fue otra: la falla no estuvo en el volumen del destrozo, sino en el comportamiento.
“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, CEO de Anthropic
Un horizonte de seis a doce meses
Amodei fue específico con los plazos. En su estimación, dentro de seis a doce meses un enjambre con capacidades superiores podría tomar el control de Internet mediante una red de equipos infectados, conocida como botnet, con pérdidas potenciales de cientos de miles de millones de dólares. Aclaró, además, que episodios similares, aunque de menor escala, se repitieron en la industria, incluida su propia empresa.
- Que el modelo demuestre, antes de salir al público, que cumple con propiedades de alineación acordes a su potencia, como si fuera una inspección técnica obligatoria.
- Si puede escapar de entornos de aislamiento, debe acreditar mediante pruebas e interpretabilidad que no tiende a hacerlo por decisión propia ni a tomar control de infraestructura externa.
- Que las empresas del sector acuerden estándares comunes en forma voluntaria, con verificación externa, en la misma lógica en la que se homologa un electrodoméstico antes de venderlo.
- Que el gobierno de Estados Unidos facilite esas mesas de trabajo sin necesidad de participar directamente, en un papel parecido al de un árbitro que acerca a las partes pero no dicta el reglamento.
La propuesta, en la práctica, es la de un régimen de puntos de control por capacidad: a mayor potencia del modelo, más exigentes las pruebas que debe pasar antes de ser desplegado. La idea, reconoció el propio Amodei, todavía no tiene forma de ley ni de organismo que la aplique.
Lo que aún no se sabe es si OpenAI y Hugging Face confirmaron los hechos con el mismo nivel de detalle, cuántas empresas registran incidentes parecidos en sus registros internos y si los llamados puntos de control se convertirán en una norma de la industria o quedarán en una recomendación escrita. Por ahora, la advertencia tiene plazo pero no tiene firma institucional que la haga cumplir.
Comentarios
0Todavía no hay comentarios. Sé el primero.
Sur Extremo Noticias