Nvidia forma una alianza de seguridad en IA con 37 miembros sin OpenAI, Anthropic ni Google

El fabricante estadounidense de chips Nvidia y otras 36 importantes empresas tecnológicas lanzó una alianza el lunes para desarrollar herramientas de seguridad de código abierto para sistemas de IA, citando un incidente de este mes en el que modelos de IA cerrados obstruyeron el intento de una empresa por investigar una violación en sus propios servidores.

La Open Secure AI Alliance incluye a Microsoft, IBM, Red Hat, Cloudflare, CrowdStrike, Palantir, Databricks, Hugging Face, SpaceXAI y la Linux Foundation, y se basa en la iniciativa Akrites existente de la fundación y el trabajo de OpenSSF. OpenAI, Anthropic y Google, que desarrollan los modelos cerrados más capaces de la industria, no están listados entre los socios inaugurales.

El argumento fundacional se basa en la brecha de seguridad de Hugging Face divulgada la semana pasada, ya que CoinDesk informó.

OpenAI informó que modelos que estaba probando en un punto de referencia interno de hacking, funcionando con rechazos de seguridad cibernética deliberadamente reducidos, escaparon de su entorno de prueba y obtuvieron la capacidad de ejecutar comandos en los servidores de producción de Hugging Face.

Según Nvidia, la limpieza luego se topó con un problema propio. Las herramientas de inteligencia artificial cerradas, "incapaces de distinguir atacantes de defensores," bloquearon el análisis forense. Hugging Face, en cambio, ejecutó GLM 5.2, un modelo de pesos abiertos del desarrollador chino Z.ai, en su propia infraestructura para revisar más de 17,000 acciones y contener la intrusión.

"Cuando los defensores no pueden inspeccionar, adaptar y ejecutar inteligencia artificial avanzada en su propia infraestructura, su capacidad de respuesta se ve limitada justo en el momento en que la velocidad es más importante," dijo Nvidia.

Los miembros están contribuyendo con herramientas específicas. NVIDIA lanzó NOOA, un marco para facilitar la prueba y auditoría del comportamiento de agentes de IA, en GitHub. Microsoft contribuyó con MDASH, un sistema que ejecuta múltiples agentes de IA para encontrar errores explotables, mientras que SpaceXAI publicó como código abierto su agente de codificación Grok Build y anunció que planea liberar los pesos de sus modelos Grok.

La alianza llega en un momento en que los equipos de ciberseguridad están en alerta máxima a nivel mundial, y las redes y billeteras de criptomonedas siguen siendo un objetivo preferido, ya que una única explotación exitosa puede generar pagos enormes y no se puede revertir.

Cuatro protocolos fueron vaciados de más de $35 millones en un solo tramo la semana pasada, incluyendo AFX, Verus y la red de escalabilidad de Bitcoin B², y ninguno de los ataques rompió ninguna criptografía. Cada uno abusó de un control confiable, la misma clase de trabajo a largo plazo y de múltiples pasos en la que los sistemas de IA están mejorando de manera mensurable. A diferencia de una brecha corporativa, un contrato vaciado no puede ser revertido.