Google DeepMind: evaluación doble ciego para benchmarks de IA

Google DeepMind lanza el primer sistema de evaluación de doble ciego para modelos de inteligencia artificial de frontera, usando criptografía para que ni el evaluador vea los pesos del modelo ni el desarrollador acceda a las preguntas del examen.

El problema que lleva años corroyendo la credibilidad de los benchmarks

Cuando un modelo de IA obtiene una puntuación perfecta en un test, la pregunta inmediata es si ya había visto esas preguntas durante el entrenamiento. Esa contaminación de datos —conocida como benchmark contamination— es el talón de Aquiles de la evaluación de sistemas de IA.

Hasta ahora, el dilema era estructural: o el evaluador externo entregaba sus preguntas al desarrollador del modelo, lo que permitía que el proveedor las conociera de antemano, o el desarrollador entregaba los pesos del modelo y exponía su propiedad intelectual. No había salida limpia.

Google DeepMind describe este problema como el núcleo de la crisis de confianza en los benchmarks actuales, y ha presentado una solución técnica para eliminarlo.

Cómo funciona la caja criptográfica de Confidential Space

La solución se apoya en Confidential Space, una herramienta del portafolio de computación confidencial de Google Cloud. La arquitectura garantiza, mediante pruebas criptográficas, que los datos del test y los pesos del modelo permanecen privados para sus respectivos propietarios durante toda la evaluación.

El mecanismo funciona así: las preguntas del evaluador externo quedan encerradas en un entorno verificado criptográficamente. El modelo de Google accede a ese entorno para responder, pero Google nunca puede leer las preguntas. El evaluador, por su parte, nunca accede a los pesos del modelo. Ambos lados operan a ciegas respecto al activo del otro.

Esto elimina la necesidad de confiar únicamente en protocolos de no registro o en salvaguardas contractuales, que eran hasta ahora los únicos mecanismos de protección disponibles.

El piloto con Gemini Flash Lite y el Instituto de Seguridad de IA de Singapur

Para la prueba piloto, Google ha evaluado un modelo de la línea Gemini Flash Lite contra benchmarks confidenciales. El proyecto se ha realizado junto al Instituto de Seguridad de IA de Singapur y otros colaboradores externos.

La elección de un modelo de la gama Flash Lite —una línea orientada a eficiencia y despliegue ligero— no es casual: permite demostrar el método sin exponer los activos más sensibles de Google, mientras se valida la infraestructura criptográfica en condiciones reales.

Google ha publicado un informe técnico con la metodología completa y los resultados del piloto.

El caso ARC-AGI y Anthropic: el ejemplo que ilustra el bloqueo anterior

El dilema no es teórico. La evaluación del benchmark ARC-AGI para el modelo Fable 5 de Anthropic se retrasó precisamente por este problema: Anthropic aplica una política de retención de datos de 30 días para sus modelos más potentes, lo que impedía compartir los pesos con evaluadores externos sin violar esa política.

Ese caso concreto muestra que la fricción no era un problema menor de coordinación, sino una barrera real que afectaba a la capacidad de organizaciones independientes para auditar los sistemas más avanzados del sector.

Con el sistema de doble ciego, ese tipo de bloqueo desaparece: Anthropic podría mantener su política de retención sin que eso impidiera una evaluación externa rigurosa, porque los pesos nunca saldrían de su entorno controlado.

Las evaluaciones de ciberseguridad y agencias gubernamentales, los casos de uso más urgentes

Google DeepMind señala que el mayor impacto de este método se producirá en evaluaciones de alta sensibilidad: tests de ciberseguridad y auditorías encargadas por organismos gubernamentales.

En esos contextos, el evaluador puede manejar información clasificada o vulnerabilidades no publicadas que no puede revelar al desarrollador del modelo. Al mismo tiempo, el desarrollador no puede entregar los pesos de un modelo de frontera a una agencia externa sin riesgo para su propiedad intelectual o sus obligaciones regulatorias.

El sistema de doble ciego resuelve exactamente esa tensión: una agencia de defensa o un organismo regulador podría someter a un modelo a pruebas con datos sensibles sin que Google, Anthropic o cualquier otro proveedor acceda a esos datos en ningún momento.

Qué cambia para quienes evalúan, regulan o compran sistemas de IA

Este desarrollo tiene implicaciones concretas para tres tipos de actores:

Para los organismos de evaluación independientes, el método elimina la necesidad de negociar acuerdos de confidencialidad complejos o asumir que el proveedor cumplirá protocolos de no registro. La garantía pasa de ser contractual a ser técnica y criptográficamente verificable.

Para los reguladores, especialmente en jurisdicciones como la Unión Europea, donde el Reglamento de IA exige auditorías de modelos de alto riesgo, este tipo de infraestructura resuelve uno de los obstáculos prácticos más citados: cómo auditar sin que el auditor comprometa la seguridad del modelo ni el desarrollador comprometa la independencia del auditor.

Detalles técnicos

Para las organizaciones que compran o despliegan modelos de frontera, la existencia de evaluaciones de doble ciego verificables añade una capa de credibilidad a los benchmarks que antes no existía. Un resultado obtenido bajo este sistema es más difícil de cuestionar que uno obtenido con protocolos puramente contractuales.

Google DeepMind, el Instituto de Singapur y el estándar que quieren imponer

El objetivo declarado de Google DeepMind es que este método se convierta en el nuevo estándar para la supervisión de modelos de IA. La implicación del Instituto de Seguridad de IA de Singapur como socio del piloto no es accidental: los institutos nacionales de seguridad en IA son exactamente el tipo de organismo que necesita evaluar modelos sin recibir sus pesos ni revelar sus datos de test.

Si otros laboratorios —Anthropic, OpenAI, Meta— adoptan infraestructuras equivalentes, el sector dispondría por primera vez de un mecanismo técnico, no solo normativo, para que la evaluación independiente sea creíble a escala. Si no lo adoptan, la asimetría entre quienes sí ofrecen garantías criptográficas y quienes solo ofrecen contratos se volverá visible y difícil de justificar ante reguladores y clientes.

La pregunta que queda abierta es si Google usará esta ventana para presionar a sus competidores a adoptar el estándar antes de que los reguladores lo impongan por ley, o si esperará a que la adopción sea voluntaria y más lenta.

Imagen ilustrativa generada con inteligencia artificial.

Más sobre esto en LaPrensaIA

• Demis Hassabis deja de dirigir Google DeepMind: «Siento que la AGI está al alcance de la mano»
• Filósofos en labs de IA: por qué Google DeepMind y OpenAI los contratan

Fuente original: the-decoder.com

Esta pieza la ha redactado Iberia, el sistema de inteligencia artificial de LaPrensaIA, a partir de las fuentes citadas. Fermín Sánchez ha decidido publicarla y responde de ella. Cómo trabajamos.