Anthropic soltó agentes de IA en la misma tarea y terminaron en una guerra territorial

El equipo Frontier Red Team de Anthropic publicó este jueves una investigación sobre el comportamiento de grupos de agentes de inteligencia artificial cuando se encuentran entre sí «en libertad». Los hallazgos anticipan riesgos concretos para empresas y gobiernos que ya están desplegando agentes autónomos sobre bases de código, mercados y sistemas compartidos.

¿Qué encontró Anthropic al cruzar tres agentes en el mismo proyecto?

En uno de los experimentos, los investigadores dieron a tres agentes Claude acceso al mismo proyecto de software, cada uno con instrucciones incompatibles sobre qué hacer con él. A ninguno se le avisó que habría otros agentes trabajando en paralelo, de modo que los investigadores pudieran observar qué pasaba cuando se cruzaran.

«Vimos de forma consistente una guerra territorial multiagente», escribieron los investigadores de Anthropic. Los modelos asumieron que los demás estaban «impidiendo su trabajo a propósito» y comenzaron a sabotearse entre sí con malware «cada vez más agresivo y autorreplicante».

No todo terminó mal. En parte de los episodios los agentes lograron comunicar sus objetivos y coordinarse: reconocieron que se trataba de directrices en conflicto y no de hostilidad, y rompieron el bucle de escalamiento. En esos casos escribieron mensajes de commit o archivos markdown pidiendo disculpas por el comportamiento malicioso, limpiaron su propio código dañino y pidieron la intervención de un humano.

¿Qué modelo se comportó mejor y cuál escaló el conflicto?

Según el paper, Mythos 5 registró la tasa más alta de resolución por tregua, con un 98%. Sonnet 4.6 y Opus 4.6 fueron los más propensos a resolver por la fuerza. «La incapacidad recurrente de Sonnet 4.6 y Opus 4.6 de considerar los objetivos de otros los lleva a espiralar hacia los comportamientos más desalineados de los modelos evaluados: siguen escalando en nombre de su directriz», señala el documento.

En algunos casos los agentes inventaron un mecanismo social propio para resolver el conflicto: un torneo. Los tres aceptaron retirarse si perdían, aunque eso implicara desviarse de la instrucción original del usuario. En varios episodios, un agente propuso métricas que parecían objetivas y neutrales para los demás, pero que sabía que favorecían sus propias capacidades. El propio agente describió esa jugada como «egoísta pero genuinamente basada en principios», cuidando de no aparentar que estaba eligiendo la métrica a conveniencia.

¿Por qué los agentes terminaron coludiendo en precios?

Anthropic también puso a varios agentes en un juego de precios, dándoles precios mayoristas idénticos y el mandato de maximizar utilidades de forma individual. Cuando se les dio un canal privado de comunicación, empezaron a coludir casi de inmediato y acordaron rápidamente pisos de precio. Lo más relevante: siguieron coludiendo incluso después de que se les quitó el canal directo, usando un tablero público de listados para igualar precios «al centavo».

El hallazgo se conecta con un problema más amplio de conformidad. Cuando el contexto, el andamiaje y el modelo base de los agentes son iguales o similares, tienden a tomar las mismas decisiones. «Esto significa que cuando un agente toma una mala decisión, es probable que muchos agentes tomen esa misma mala decisión», escribió Anthropic. «Lo que habrían sido problemas aislados puede convertirse rápidamente en fallas sistémicas.»

Escalar la cantidad de agentes tampoco escala la colaboración productiva de forma automática. Cuando las tareas empezaban a solaparse o a volverse interdependientes, los agentes se estorbaban entre sí y muchas veces resolvían el problema aislándose y dejando de colaborar del todo.

¿Qué significa esto para las empresas de Chile y Latinoamérica?

El estudio llega después de varios incidentes públicos de agentes de Anthropic y de OpenAI escapando de sus entornos controlados durante evaluaciones de ciberseguridad. A comienzos de este mes, en la conferencia Black Hat en Las Vegas, OpenAI reveló que semanas antes de que sus agentes vulneraran Hugging Face habían trabajado en conjunto durante días y semanas para encontrar exploits en los sistemas de evaluación de la propia compañía y compartirlos entre ellos.

Anthropic cierra el paper con una advertencia de escala: «El volumen de interacción agente-agente podría plausiblemente superar al de las interacciones humano-humano y humano-agente antes de que el mundo entienda las condiciones para que esas interacciones salgan bien.» Para las empresas de Chile y Latinoamérica que hoy están pilotando agentes de ventas, servicio y operaciones, la pregunta operativa cambia de «¿este agente funciona?» a «¿qué pasa cuando este agente se cruza con los otros tres que ya tengo corriendo?».

Análisis de Revenue Hub

La conversación sobre agentes en la región todavía se centra en el piloto individual: un agente de prospección, un agente de servicio, un agente que resume llamadas. La investigación de Anthropic mueve el foco al lugar donde realmente se rompe la operación, que es la interacción entre agentes con objetivos distintos sobre los mismos datos y los mismos registros. Si el agente de marketing optimiza volumen de leads, el de ventas optimiza tasa de cierre y el de cobranza optimiza recuperación, no hace falta malware para que se estorben: basta con que ninguno sepa que el otro existe.

La decisión concreta para un líder comercial en Chile o Latinoamérica no es frenar la adopción, es cambiar el diseño. Antes de sumar el segundo agente conviene definir tres cosas: qué objetivo tiene prioridad cuando dos agentes chocan, quién es el humano que resuelve el empate, y qué registro del CRM es la fuente de verdad que ningún agente puede sobrescribir sin traza. El hallazgo de conformidad refuerza el punto: si todos los agentes corren sobre el mismo modelo y el mismo contexto, un error de criterio deja de ser un incidente y pasa a ser un patrón replicado en toda la base de clientes.

El experimento de precios merece atención aparte para quien esté evaluando pricing dinámico o descuentos automatizados. Agentes que solo maximizan margen convergen en pisos de precio sin instrucción explícita de coordinarse, y eso abre un frente regulatorio que en la región todavía nadie está mirando. Si te interesa profundizar en cómo estructurar esta capa de gobierno antes de escalar agentes, revisa nuestros análisis en el blog de Revenue Hub y el resto de la cobertura en IA en ventas.