OpenAI concluye que cerca del 30% de las tareas del benchmark SWE-Bench Pro están rotas

OpenAI publicó el 8 de julio de 2026 una auditoría detallada de SWE-Bench Pro, uno de los benchmarks de programación con IA más usados para medir capacidades de agentes de código, y concluyó que cerca del 30% de sus tareas están rotas. El hallazgo golpea la confianza en las cifras que la industria usa para comparar modelos de inteligencia artificial.

¿Qué encontró exactamente la auditoría de OpenAI?

SWE-Bench Pro evalúa a los modelos en un conjunto público de 731 tareas: cada modelo debe implementar una solución que pase pruebas nuevas de una funcionalidad sin romper lo que ya funciona. En ocho meses, los modelos de frontera saltaron de una tasa de acierto del 23,3% al 80,3% en ese benchmark.

OpenAI revisó el conjunto con un pipeline de análisis y una campaña de anotación humana. El resultado: su filtro automatizado marcó 200 tareas defectuosas (27,4%), mientras que la revisión con ingenieros de software experimentados identificó 249 (34,1%). En ninguna tarea marcada la etiqueta más común de los humanos fue no está rota.

¿Por qué se rompen los benchmarks de IA?

Las fallas caen en cuatro categorías. Pruebas demasiado estrictas que exigen detalles de implementación no pedidos en el enunciado, invalidando soluciones que sí funcionan. Enunciados incompletos que omiten requisitos que las pruebas ocultas sí exigen. Pruebas de baja cobertura que dejan pasar arreglos incompletos. Y algún enunciado engañoso que apunta al modelo hacia un comportamiento equivocado. En un ejemplo, el enunciado mostraba un espacio y la prueba oculta exigía dos: esa diferencia de un carácter marcaba como incorrecta una respuesta correcta.

No es la primera vez. OpenAI ya había detectado problemas de diseño y contaminación en SWE-bench Verified, otro benchmark popular que dejó de usar. Ahora

retira su recomendación previa de adoptar SWE-Bench Pro

y pide a la comunidad construir evaluaciones nuevas, hechas por desarrolladores experimentados, que sean difíciles de manipular y fáciles de confiar.

¿Qué significa esto para las empresas de Chile y Latinoamérica?

Cada semana aparece un modelo que dice ser el mejor según algún benchmark. Para las empresas de Chile y Latinoamérica que evalúan herramientas de IA para ventas, servicio o desarrollo, la lección es incómoda pero útil: los números de leaderboard que aparecen en los lanzamientos pueden estar medidos sobre pruebas defectuosas. Comprar por la cifra del ranking es comprar sobre terreno movedizo.

Análisis de Revenue Hub

Para un líder comercial o de tecnología en Chile o Latinoamérica, este informe es una señal de gobernanza de compra: no delegues tu decisión de adoptar IA en un benchmark público. Si hasta OpenAI concluye que cerca del 30% de las tareas de un benchmark de referencia están rotas, la promesa de que un modelo es superior por unos puntos en un ranking pierde peso como criterio de compra. El riesgo no es teórico: puedes pagar más por un modelo que, en tu operación real, no rinde mejor.

La decisión práctica es medir sobre tu propio flujo, no sobre el de un laboratorio. Antes de estandarizar un modelo de IA para tu equipo de ventas o servicio, define un conjunto pequeño de tareas reales de tu negocio y evalúa a los candidatos sobre ellas, con criterios de éxito claros. Trata el benchmark del vendor como marketing, no como evidencia. En nuestra sección de IA en ventas seguimos cómo evolucionan estos modelos, y en el blog profundizamos en cómo evaluar y adoptar IA sin comprar humo.