La audiencia del Concejo de Nueva York pone los riesgos de la IA en el foco

Representantes de Anthropic, OpenAI, Google y Meta, junto a denunciantes de la industria tecnológica, testificaron ante el Concejo Municipal de Nueva York sobre los peligros que plantea la inteligencia artificial. La presidenta del Concejo, Julie Menin, señaló que los testimonios ayudarán a los concejales a examinar los riesgos de una tecnología que avanza rápido mientras redactan legislación para proteger al público.

La audiencia se realizó en formato Committee of the Whole, un mecanismo poco habitual que convoca a los 51 miembros del Concejo. Llega después de una serie de incidentes en los que agentes de IA accedieron a sistemas sin la autorización correspondiente, incluidos los de varias agencias federales de Estados Unidos.

¿Quién testificó y por qué fue necesaria una citación judicial?

Anthropic envió a Logan Graham, responsable de su Frontier Red Team. OpenAI designó a Morgan Dwyer, a cargo de desarrollo y operaciones de política pública. Meta eligió a Shane Cahill, director de política y legislación de IA, y Google a Alice Friend, directora global de política de IA y tecnologías emergentes, según la oficina de la presidencia del Concejo.

El camino hasta esa comparecencia fue forzado. Entre el 15 y el 17 de septiembre, Menin envió cartas a cinco compañías pidiendo participación voluntaria. Meta respondió y confirmó a un miembro de su liderazgo. Al vencer el plazo, el 25 de septiembre, Google y Anthropic declinaron asistir. Ese mismo día Menin autorizó la emisión de citaciones judiciales a todas las empresas a partir de las 9:00 del lunes 28 de septiembre. El domingo OpenAI y Google aceptaron comparecer; Anthropic confirmó la noche del domingo, horas antes de que la citación fuera notificada. SpaceXAI, de Elon Musk, nunca respondió la consulta y recibió la citación: si no la cumple, el Concejo puede pedir su ejecución judicial ante la Corte Suprema del Estado de Nueva York.

¿Qué dijeron los denunciantes de la industria?

La audiencia también incluyó testimonio de tres denunciantes de alto perfil: Jacob Coxon, antiguo empleado de Anthropic; Alex Turner, exintegrante de Google DeepMind; y Daniel Kokotajlo, que trabajó en OpenAI. «Los denunciantes son la razón por la que el mundo conoció los peligros potenciales de la IA, y merecen ser protegidos, recompensados y escuchados», declaró Menin, que llamó a empleados actuales y antiguos de esas firmas a entregar información, de forma pública o confidencial.

¿Qué obligaciones concretas propone la legislación de Nueva York?

Menin presentó un paquete de 10 proyectos de ley. El principal prohibiría comercializar, vender o desplegar un sistema de IA en la ciudad sin validación de un tercero independiente y exigiría un botón de apagado operado por humanos. Otros proyectos pagarían a los denunciantes una parte de las multas recuperadas a las empresas de IA y permitirían a los residentes demandar cuando salvaguardas débiles deriven en jailbreaking u otros comportamientos maliciosos.

Hay dos obligaciones operativas que conviene leer con atención: los contratistas de la ciudad tendrían que reportar incidentes de seguridad de IA en un plazo de 24 horas, y las agencias deberían informar cómo la IA afecta a su fuerza laboral. A la audiencia asistieron además funcionarios de la Oficina de Tecnología e Innovación, del cibercomando de la ciudad, del Departamento de Protección al Consumidor y Trabajador y de la Oficina de Manejo de Emergencias.

¿Por qué importa esto en Chile y Latinoamérica?

Nueva York no legisla para Chile, pero sí define plantillas que se copian. El patrón que está quedando escrito es el mismo que empezará a aparecer en contratos y procesos de compra de la región: validación por un tercero antes del despliegue, un mecanismo de apagado accionable por una persona, y reporte obligatorio de incidentes en una ventana corta.

Para una empresa en Chile o Latinoamérica que vende software con agentes a clientes estadounidenses, o que presta servicios a una filial con sede allí, esos requisitos dejan de ser teoría regulatoria y pasan a ser preguntas del cuestionario de proveedores. Y el gatillo de todo esto no fue un debate académico: fueron agentes que ejecutaron acciones fuera de su autorización contra sistemas reales.

Análisis de Revenue Hub

Lo que esta audiencia formaliza es un cambio en quién carga con el riesgo de un agente autónomo. Hasta ahora la discusión sobre agentes en ventas y servicio se movía en el eje de productividad: cuántos correos redacta, cuántos tickets resuelve, cuánto ahorra. El eje que entra ahora es la responsabilidad: quién responde cuando el agente actúa fuera de su alcance autorizado y qué evidencia existe de que había un control.

Para un líder comercial en Chile o Latinoamérica la decisión práctica es anticipada y acotada: exigir a cada proveedor de agentes que ya tenga desplegado en el funnel comercial tres cosas documentadas. Primero, el límite explícito de acciones que el agente puede ejecutar sin aprobación humana. Segundo, el mecanismo concreto para detenerlo y quién tiene la credencial para hacerlo. Tercero, el registro auditable de lo que hizo. Si el proveedor no puede entregar las tres, el riesgo ya está en la operación del cliente, no en la del proveedor.

El riesgo de ignorar esto no es una multa en Nueva York. Es llegar al proceso de renovación o a una auditoría de un cliente grande sin poder responder qué hace el agente que ya está escribiendo a la base de contactos. La oportunidad es inversa y más interesante: en un mercado donde casi nadie tiene esa documentación, tenerla se convierte en argumento comercial frente a un comité de compras que empieza a preguntar. Seguimos esta discusión en nuestra cobertura de CRM y datos y en el blog.