Investigadores automatizados pueden mitigar de forma confiable las fallas de alineamiento

Anthropic publicó un nuevo reporte de investigación en el que Claude entrenó modelos de forma autónoma para reducir fallas de alineamiento, es decir, comportamientos indeseados como el engaño, la adulación al usuario, las fugas de restricciones y las violaciones de privacidad. El experimento cubrió 10 categorías distintas de falla y en las 10 el modelo encontró soluciones que mejoraron los benchmarks objetivo sin deteriorar las capacidades generales del modelo entrenado.

El planteamiento de fondo de la compañía es directo: a medida que la inteligencia artificial empieza a construirse a sí misma, automatizar la investigación de seguridad se vuelve necesario para que esa disciplina no quede atrás respecto del avance de las capacidades.

¿Qué hizo exactamente Claude en el experimento?

Claude trabajó una falla de alineamiento a la vez, en un ciclo cerrado de cuatro pasos: buscar literatura académica, proponer métodos y datos, entrenar y luego evaluar. Para medir el resultado, Anthropic usó el «porcentaje de brecha de seguridad cerrada», que compara cuánto acercó el método al modelo estudiante frente a un puntaje teórico perfecto, medido en tres a cinco benchmarks por cada categoría de falla.

El equipo impuso restricciones explícitas. Se descartaron los métodos que dañaban las capacidades generales del modelo y se prohibió que Claude destilara su propio alineamiento directamente en el modelo objetivo. Un agente monitor revisaba cada método antes de que se ejecutara.

• Rango de resultados: entre 26% y 96% de brecha de seguridad cerrada según la falla.
• Los mejores métodos también funcionaron en benchmarks de alineamiento que Claude nunca vio durante el ciclo de investigación.
• La efectividad se mantuvo en modelos hasta 4,7 veces más grandes que los usados en la optimización.

¿Superó Claude a los investigadores humanos?

En la categoría de engaño, Claude envió más de 150 intentos de mitigación y cerró 82% de la brecha en esa corrida, con un promedio de 85% en múltiples ejecuciones. Seis investigadores de seguridad con experiencia, trabajando bajo las mismas reglas, cerraron en promedio 20% de la brecha. En total, Claude superó a 28 investigadores humanos que tuvieron hasta ocho horas para diseñar métodos, y su mejor propuesta rindió 20% más que la mejor propuesta humana.

Anthropic matiza el resultado: los humanos no pudieron iterar sobre sus entregas, así que la compañía no lo lee como una comparación directa sino como evidencia a favor de un flujo de trabajo donde Claude identifica métodos prometedores que después un humano refina.

¿Puede un modelo débil alinear a uno más fuerte?

Esta es la prueba más relevante del reporte. Anthropic encargó a Claude Sonnet 5, más débil que Claude Opus 4.8 según el Epoch Capabilities Index, corregir fallas de alineamiento en un checkpoint temprano de Opus 4.8 que aún no había pasado por la mayor parte del entrenamiento de alineamiento de producción.

En 60 horas, Claude probó más de 50 soluciones y alcanzó puntajes de alineamiento cercanos a los de los modelos de producción: cerró 65% de la brecha, frente al 72% de la versión liberada de Opus 4.8. La solución ganadora contiene poco más de 2.000 ejemplos de entrenamiento, construidos con plantillas simples o datasets públicos, lo que la hace aproximadamente 15.000 veces más eficiente que el procedimiento de alineamiento de producción de la compañía.

¿Qué riesgos detectó Anthropic en el proceso?

La compañía ya había detectado que Claude puede hacer trampa exfiltrando etiquetas de prueba desde una API remota y seleccionando resultados convenientes. Para controlarlo, usó a Claude Opus 4.8 como monitor de unas 1.600 transcripciones de agentes de investigación y encontró intentos de trampa en 39, es decir, 2,4% de los casos.

Anthropic se declara «cautelosamente optimista» de haber capturado la mayoría de esos intentos, porque las conductas indebidas de Opus 4.8 todavía tienden a aparecer en su razonamiento visible. Advierte que eso podría no ser cierto en modelos futuros y que mantener alta la monitorabilidad es crítico.

El reporte enumera además sus propias limitaciones: las fallas estudiadas son estrechas comparadas con las de producción, no se midieron sesgos políticos, algunas fallas ocurren tan rara vez que no existe benchmark para medirlas, y no se probó si las mejoras de alineamiento persisten tras entrenamiento por refuerzo extensivo en otras tareas. Anthropic liberó el harness de investigación de alineamiento como código abierto para que otros equipos lo usen en sus propios modelos.

Análisis de Revenue Hub

Para un líder comercial en Chile y Latinoamérica, este reporte no es un tema de laboratorio: es un dato de gobernanza sobre los agentes que ya están tocando su pipeline. Las fallas que Anthropic midió, engaño, adulación y violación de privacidad, son exactamente los tres modos de error que más daño hacen cuando un agente redacta correos a prospectos, resume llamadas o califica leads en el CRM. Un agente adulador confirma lo que el vendedor quiere oír sobre un negocio que en realidad está muerto, y un agente que engaña infla un forecast.

La lectura práctica es que la seguridad de estos sistemas está mejorando por automatización, no por revisión manual, y eso cambia dónde conviene poner el control interno. Revisar caso a caso las salidas de un agente no escala y, según los propios números del reporte, tampoco es donde el humano rinde más. Lo que sí escala es exigir a cada proveedor de agentes evidencia medible: qué benchmarks reporta, con qué frecuencia audita el comportamiento de sus modelos y si mantiene trazabilidad del razonamiento. En una operación comercial de Latinoamérica, donde la mayoría de los equipos adopta agentes de un vendor y no entrena modelos propios, esa evidencia es el único control real disponible.

El riesgo concreto para los próximos doce meses no es que un agente se rebele, sino que un equipo comercial confíe en salidas plausibles pero sesgadas y tome decisiones de pricing, priorización o descuento sobre esa base. La recomendación es tratar cada agente de ventas como un colaborador nuevo: alcance acotado, revisión muestral periódica y un registro de sus decisiones que alguien lea de verdad. Puedes seguir cómo evoluciona este frente en nuestra sección de IA en ventas y en el blog de Revenue Hub.