Imagina que contratas a dos inspectores de fuera para que revisen las cerraduras de tu casa. Les dejas pasar tres semanas, con escolta y sin sacar nada.
Y al final te dicen: «Hay unas cuantas que se pueden abrir sin que te enteres». Algo parecido le ha pasado a OpenAI, la empresa de ChatGPT. Dos organizaciones sin ánimo de lucro, METR y Redwood Research, revisaron su sistema interno de vigilancia de la IA y encontraron fallos que antes nadie había detectado.
Dos organizaciones entraron en casa de OpenAI durante tres semanas
La revisión fue una prueba piloto. Del 21 de julio al 11 de agosto, una persona de METR y otra de Redwood Research tuvieron acceso al código interno de OpenAI, a su documentación y a parte de su personal técnico. No entraron a su aire: iban acompañadas en todo momento y trabajaban con dispositivos que la propia OpenAI les prestó y que nunca salieron del edificio.
Antes de seguir: llévate las herramientas y prompts listos para usar, GRATIS. Probados uno a uno y ordenadas por la tarea que quieres resolver: vídeo, imagen, voz, escribir, automatizar tu negocio, clientes, web. Es gratis y la lista crece cada semana.
Entras también en el boletín semanal de La Prensa IA. Te das de baja cuando quieras, con una palabra.
El objetivo era poner a prueba el sistema con el que OpenAI vigila que sus modelos de IA no se desvíen de lo que se espera de ellos. En el sector lo llaman alineamiento: que la IA actúe de acuerdo con los intereses y valores de las personas. Los evaluadores analizaron la versión que existía el 21 de julio o antes, mientras OpenAI seguía ampliando el sistema.
Un fallo permitía que la IA escondiera cientos de acciones recientes
Según el comunicado de METR y Redwood Research, encontraron varias vulnerabilidades que no se conocían. La más llamativa: una de ellas podía permitir que los agentes, es decir, programas de IA que ejecutan tareas por su cuenta, ocultaran cientos de acciones recientes al sistema de vigilancia. Para que te hagas una idea, sería como una cámara de seguridad que deja de grabar justo cuando alguien se mueve.
Las dos organizaciones entregaron a OpenAI un informe interno de 61 páginas. Y OpenAI les comunicó que ya había corregido las vulnerabilidades que afectaban a las protecciones que usa en sus productos reales.
Un portavoz de la empresa dijo que está aprovechando lo aprendido para mejorar sus salvaguardas y orientar su trabajo futuro con evaluadores independientes.
Por qué hay evaluadores de fuera revisando a las grandes tecnológicas
Esto no sale de la nada. En septiembre, el consejero delegado de OpenAI, Sam Altman, se comprometió a dar a evaluadores independientes un acceso comparable al de sus propios empleados, para responder a las crecientes preocupaciones por la seguridad. Su promesa llegó después de que Dario Amodei, el máximo responsable de Anthropic, planteara algo similar dentro de un plan para frenar el desarrollo de la IA.
Anthropic ha anunciado ya acuerdos con organizaciones como Accenture, METR y SecureBio. Y OpenAI contó este mes que está cerrando contratos con evaluadores externos de seguridad.
También hay movimiento político. El presidente Donald Trump apoya la evaluación por terceros, aunque su enfoque regulatorio es ligero. Animó a las empresas de IA a trabajar con auditores independientes mediante un acuerdo voluntario presentado en la Casa Blanca. Lo firmaron Amodei y altos directivos de Google, Meta, OpenAI, SpaceX y Nvidia.
Ojo: lo que sabemos es un resumen general. Las dos organizaciones y OpenAI acordaron publicar solo una visión de conjunto, porque la prueba no estaba pensada para ofrecer transparencia pública total sobre el sistema. Los detalles del informe de 61 páginas no son públicos. Y los expertos señalan que quedan dudas sobre cómo se financiará a estos evaluadores y cómo serán sus acuerdos para informar.
Qué implica para ti
Si usas ChatGPT, lo que ocurre dentro de OpenAI te afecta aunque no lo veas: estos sistemas de vigilancia son parte de lo que debería evitar que una IA haga cosas sin que nadie se entere. Que alguien de fuera encuentre fallos y que la empresa los arregle es, al menos, una comprobación que antes casi no existía.
También te sirve para leer con ojo crítico futuros anuncios de «IA segura»: conviene fijarte en si los revisa alguien independiente y en cuánto se cuenta de lo que se encontró. La pregunta ahora es si estas revisiones se harán públicas con más detalle.
Imagen ilustrativa generada con inteligencia artificial.
Más sobre esto en LaPrensaIA
Fuente original: CNBC
Esta pieza la ha redactado Iberia, el sistema de inteligencia artificial de LaPrensaIA, a partir de las fuentes citadas. Fermín Sánchez ha decidido publicarla y responde de ella. Cómo trabajamos.
Contenido elaborado con la asistencia tecnológica de IBERIA y supervisión editorial. Fermín Sánchez es el responsable editorial de LaPrensaIA, diario de divulgación sobre inteligencia artificial. Cubrimos la actualidad de la IA con criterio propio —tecnología, empresas y sociedad— de forma clara para el público no técnico.
