Jalapeño de OpenAI: más rápido que los superchips de Nvidia en inferencia

Jalapeño de OpenAI: más rápido que los superchips de Nvidia en inferencia

El chip Jalapeño de OpenAI supera en inferencia a los superchips GB200 y GB300 de Nvidia, según datos publicados por la propia compañía el martes. La ventaja declarada es de entre 1,7 y 3,6 veces menor latencia extremo a extremo, con un consumo energético también inferior.

Qué mide el benchmark y por qué el resultado importa

OpenAI utilizó InferenceX, una plataforma de evaluación comparativa de rendimiento en inferencia, para medir el desempeño de Jalapeño frente a los mejores resultados registrados hasta la fecha. Esos registros correspondían a los superchips GB200 y GB300 de Nvidia.

La prueba midió el tiempo entre tokens (TBT), es decir, el intervalo que transcurre desde que el modelo genera un fragmento de respuesta hasta el siguiente. Cuanto menor es ese intervalo, más fluida y rápida percibe el usuario la respuesta del sistema.

Los resultados publicados por OpenAI muestran que Jalapeño entregó entre 1,5 y 1,9 veces más trabajo de IA por vatio en los modelos GPT-OSS 120B, DeepSeek R1 y Kimi K2.5 1T, comparado con los sistemas de referencia.

La tensión latencia-rendimiento que Jalapeño dice resolver

Richard Ho, vicepresidente de hardware de OpenAI, explicó durante un encuentro con periodistas que los sistemas de IA habitualmente deben elegir entre menor latencia o mayor rendimiento: optimizar uno perjudica al otro.

Ho afirmó que Jalapeño ofrece «lo mejor de ambos mundos», con menor latencia y mayor rendimiento simultáneamente. Esa combinación, si se sostiene en producción, tiene consecuencias directas para los usuarios de los servicios de OpenAI: respuestas más rápidas y agentes más reactivos bajo carga alta.

La diferencia entre 1,7 y 3,6 veces de mejora en latencia extremo a extremo no es uniforme: varía según el modelo que se ejecute. El margen más amplio corresponde a los modelos más exigentes en parámetros.

Qué es Jalapeño y cómo se fabrica

Jalapeño es un circuito integrado de aplicación específica (ASIC, por sus siglas en inglés) desarrollado en colaboración con Broadcom. A diferencia de una GPU de propósito general, un ASIC se diseña para una tarea concreta: en este caso, inferencia, que es el proceso de ejecutar un modelo de IA ya entrenado para responder a una consulta o completar una tarea.

OpenAI presentó el chip por primera vez en junio. Su diseño está orientado exclusivamente a la fase de despliegue de modelos, no al entrenamiento, lo que explica por qué los benchmarks se centran en métricas de velocidad de respuesta y eficiencia energética, no en capacidad de cómputo bruto.

El hecho de que sea un ASIC fabricado con Broadcom, y no una GPU comprada a Nvidia, sitúa a OpenAI en la misma estrategia que otras grandes tecnológicas: controlar parte de la cadena de silicio para reducir dependencia de proveedores externos y optimizar el coste por inferencia a escala.

El calendario de despliegue: volúmenes pequeños en 2026, escala en 2027

Ho confirmó que OpenAI desplegará Jalapeño en «volúmenes pequeños» antes de que acabe 2026 y comenzará a aumentar la producción a lo largo de 2027. La compañía no ha precisado cuántas unidades prevé instalar el próximo año.

Ese ritmo de despliegue gradual es habitual en chips de nueva generación: la fase de volumen reducido permite detectar fallos en producción real antes de comprometer toda la infraestructura. Para los usuarios de ChatGPT o de la API de OpenAI, el impacto tangible llegará principalmente en 2027, cuando el volumen sea suficiente para cambiar la experiencia a escala.

OpenAI también confirmó que trabaja en la segunda y tercera generación de Jalapeño, lo que indica que el chip no es un proyecto puntual sino una línea de desarrollo propia a largo plazo.

Jalapeño no reemplaza a Nvidia: la coexistencia declarada

Ho fue explícito: OpenAI no tiene previsto sustituir toda su infraestructura de chips por Jalapeño. La estrategia de cómputo de la compañía incluye, según sus propias palabras, «muy buenos socios», entre los que citó a Nvidia.

Eso significa que Jalapeño se integrará como capa especializada para inferencia dentro de una infraestructura que seguirá dependiendo de GPUs de Nvidia para entrenamiento y otras cargas de trabajo. La coexistencia no es una contradicción: cada tipo de chip tiene un perfil de coste y rendimiento distinto según la tarea.

Para Nvidia, el mensaje es ambivalente. OpenAI valida públicamente la relación comercial, pero al mismo tiempo publica benchmarks que muestran que su propio silicio supera a los GB200 y GB300 en la métrica más directamente vinculada al coste operativo de un servicio de IA en producción: la eficiencia energética por inferencia.

Lo que el dato de eficiencia energética significa para el coste de la IA

La cifra de 1,5 a 1,9 veces más trabajo por vatio no es solo un dato técnico: es un indicador directo de coste de operación. En centros de datos a escala, el consumo eléctrico es uno de los principales componentes del gasto. Un chip que hace el mismo trabajo con menos energía reduce el coste por consulta respondida.

Para OpenAI, que opera servicios con millones de usuarios simultáneos, esa eficiencia se traduce en margen operativo. Para un desarrollador que usa la API, el impacto potencial es un precio por token más competitivo a medida que Jalapeño gane peso en la infraestructura.

El escenario concreto: un agente de IA que gestiona tareas en segundo plano, como revisar correos o ejecutar flujos de trabajo, necesita respuestas rápidas y continuas. Con menor latencia y mayor eficiencia energética, ese tipo de aplicación se vuelve más viable a costes razonables.

Tres puntos concretos que seguir tras el anuncio de Jalapeño

Primero, los benchmarks de InferenceX en los próximos meses. OpenAI comparó Jalapeño contra los mejores resultados disponibles en el momento de la prueba. Nvidia actualiza su línea de chips con regularidad, y los GB200 y GB300 no son necesariamente el techo de lo que la compañía tiene en desarrollo.

Segundo, el volumen de despliegue en 2027. Ho no ofreció cifras. La diferencia entre un despliegue marginal y uno significativo determinará si Jalapeño cambia la ecuación de costes de OpenAI o permanece como proyecto de nicho dentro de una infraestructura dominada por Nvidia.

Tercero, el avance de las generaciones segunda y tercera. Un ASIC de primera generación rara vez es el producto definitivo. Las mejoras más relevantes en eficiencia y latencia suelen llegar con la segunda iteración, cuando los ingenieros ya conocen los cuellos de botella reales de producción.

Imagen ilustrativa generada con inteligencia artificial.

Más sobre esto en LaPrensaIA

Fuente original: theverge.com

Esta pieza la ha redactado Iberia, el sistema de inteligencia artificial de LaPrensaIA, a partir de las fuentes citadas. Fermín Sánchez ha decidido publicarla y responde de ella. Cómo trabajamos.