Los equipos de agentes de IA cuestan hasta 5,1 veces más y apenas mejoran

Si tu empresa está pensando en montar un enjambre de agentes de IA para que programen en equipo, quizá convenga revisar la factura antes de aprobar el proyecto. Un estudio de Vals AI sobre la prueba Vibe Code Bench concluye que los equipos cuestan entre 1,8 y 5,1 veces más que un agente solo, y que solo en uno de cuatro casos mejoran de forma estadísticamente significativa.

Cuatro comparaciones, una sola mejora medible

Vals AI, una empresa especializada en evaluaciones de modelos, puso a prueba GPT-6 Sol y Claude Opus 5.5 en Vibe Code Bench. Cada modelo trabajó en solitario y como equipo, y en dos niveles de razonamiento: medio y máximo. Eso arroja cuatro comparaciones directas entre un agente solo y un equipo.

Solo una resultó estadísticamente significativa: GPT-6 Sol con razonamiento medio, donde el equipo sumó 7,3 puntos más que el agente individual. En las otras tres, la diferencia no fue concluyente.

Con el razonamiento al máximo, el equipo no dio ventaja real ni a Sol ni a Opus 5.5. Los resultados sugieren que el sobrecoste de los equipos rara vez compensa, sobre todo cuando el modelo ya trabaja con toda su capacidad de cómputo.

Un sobrecoste de hasta 5,1 veces por aplicación

El gráfico de Vals AI enfrenta el coste por aplicación con la puntuación obtenida. Cada flecha une el agente individual de un modelo con su versión en equipo al mismo nivel de razonamiento. Todas apuntan hacia la derecha, hacia un gasto mayor, pero apenas hacia arriba.

La horquilla de 1,8 a 5,1 veces significa que, en el peor de los casos, pagas más de cinco veces por cada aplicación generada. A cambio, en tres de los cuatro escenarios no obtienes una mejora que se pueda distinguir del azar.

Lo que muestran las pruebas internas de Anthropic con Opus 5.5

Anthropic observó algo parecido en dos pruebas propias con Opus 5.5. Los equipos más grandes alcanzaban un nivel de rendimiento antes, pero pasar de diez a 100 agentes solo subía las puntuaciones de forma marginal tras 24 horas.

Estos son los resultados con Opus 5.5:

Tarea de base de conocimiento: 0,53 con un agente, 0,70 con diez, 0,71 con 30 y 0,74 con 100.

Demostración de teoremas en Lean: 0,39 con un agente, 0,66 con diez, 0,66 con 30 y 0,68 con 100.

El grueso de la mejora llega al pasar de uno a diez agentes. De diez a 100, la base de conocimiento gana cuatro centésimas y la demostración de teoremas, dos. En las pruebas separadas de ProgramBench, la ganancia en velocidad vino acompañada de un mayor consumo de tokens.

El caso de Fable 5.1: más escala, pero por debajo de Opus 5.5

Fable 5.1 mostró mayores ganancias de calidad en la tarea de Lean al superar los diez agentes. Aun así, quedó por debajo de Opus 5.5 en todas las pruebas.

En la tarea de base de conocimiento, su puntuación incluso retrocedió ligeramente al escalar de 30 a 100 agentes. Más agentes no garantizan un mejor resultado ni siquiera dentro del mismo modelo.

Noam Brown: los agentes compran velocidad, no calidad

El investigador de OpenAI Noam Brown lo explicó en el pódcast de Dwarkesh: los sistemas multiagente sirven sobre todo para ganar velocidad, no para mejorar la calidad. Cuatro agentes resolvieron las tareas el doble de rápido, pero también costaron el doble. Con 16 agentes el patrón se mantuvo, con una eficiencia algo menor.

El efecto depende de la tarea. La investigación web y las matemáticas se paralelizan bien, pero escribir una novela no, según Brown. Lanzar 10.000 agentes contra una novela sería tan inútil como lanzar 10.000 personas. Brown reconoció que escalar a números muy grandes de agentes sigue casi sin explorarse porque el coste es demasiado alto.

La «tasa de coordinación» que advierte Eric Provencher

Eric Provencher, desarrollador de OpenAI, desaconsejó hace poco usar enjambres de agentes por este mismo motivo. Argumentó que probablemente es dinero malgastado porque la coordinación entre agentes se rompe. Lo llamó la «tasa de coordinación» (coordination tax).

Es decir, parte del cómputo que pagas no se dedica a resolver el problema, sino a que los agentes se pongan de acuerdo entre sí.

Qué revisar antes de pagar por un equipo de agentes

Los datos del estudio dan cuatro puntos concretos para decidir:

Comprueba el nivel de razonamiento. Con el máximo, los equipos de Sol y Opus 5.5 no aportaron ventaja real. Si ya usas ese nivel, un equipo probablemente no te compensa.

Distingue si buscas velocidad o calidad. Si lo que necesitas es terminar antes y aceptas pagar el doble, como en el caso de los cuatro agentes de Brown, tiene sentido. Si buscas mejor resultado, los datos no lo respaldan de forma consistente.

Mira el tipo de tarea. La investigación web y las matemáticas se paralelizan bien; la escritura creativa no.

Calcula el coste por resultado, no solo por token. Un equipo que cuesta hasta 5,1 veces más debería justificar esa cifra con una mejora medible.

Qué implica para ti

Antes de contratar un sistema multiagente, compara su coste por tarea con el de un único agente al máximo razonamiento: según Vals AI, esa configuración suele rendir igual por mucho menos dinero. Reserva los equipos para trabajos que se dividan bien en partes independientes y donde el tiempo cuente más que el presupuesto. Y exige pruebas propias: en tres de cuatro comparaciones de este estudio, la mejora no pasó de ruido estadístico.

Imagen ilustrativa generada con inteligencia artificial.

Más sobre esto en LaPrensaIA

• Sebastian Brickel: «El momento rara vez es técnico. Es política interna»
• Google abre SynthID a todos, pero solo detecta IA de Google y de sus socios

Fuente original: the-decoder.com

Esta pieza la ha redactado Iberia, el sistema de inteligencia artificial de LaPrensaIA, a partir de las fuentes citadas. Fermín Sánchez ha decidido publicarla y responde de ella. Cómo trabajamos.