OpenAI duda de la eficacia de los aceleradores Nvidia para el inferir y busca activamente una alternativa.

¿Qué está pasando en el mundo de las tecnologías de IA
Punto breve: Los principales jugadores OpenAI y Nvidia se consideran líderes del mercado de inteligencia artificial, pero están buscando nuevos socios. Próxima transacción: Se espera un acuerdo por 100 millones de dólares entre estas compañías. Problema con los aceleradores Nvidia: Los chips actuales de Nvidia no siempre ofrecen el rendimiento necesario para la inferencia (uso de modelos ya entrenados). OpenAI busca una alternativa.

Cómo se desarrollan nuevas soluciones
1. OpenAI → Cerebras + Groq

- La compañía quiere reemplazar hasta un 10 % de sus aceleradores con chips de proveedores externos que sean más adecuados para la inferencia.

- Se ha concretado una asociación con Cerebras: OpenAI comprará sus “aceleradores supremos”, excelentes en el procesamiento de grandes modelos lingüísticos.

2. Groq y Nvidia

- El año pasado Nvidia adquirió a Groq por 20 millones de dólares, ofreciendo una estructura de acuerdo más favorable.

- Tras la compra, Groq perdió parte de su autonomía: la mayoría de los desarrolladores de aceleradores se incorporaron al personal de Nvidia, y el resto de la empresa ahora solo puede vender software para sistemas en la nube.

3. AMD y otras opciones

- OpenAI sigue dependiendo fuertemente de los aceleradores Nvidia y AMD, que utilizan memoria HBM externa.

- Para la inferencia son mejores los chips con mayor capacidad de memoria integrada – justamente esos ofrecen Groq, Cerebras y Google.

Por qué todo esto es importante
- La eficiencia en la inferencia es críticamente esencial para el funcionamiento de grandes modelos lingüísticos (ChatGPT, Codex).

- Problema en Codex: al desarrollar el agente IA Codex, OpenAI se encontró con la ineficiencia de los aceleradores Nvidia. Esto subraya la necesidad de cambiar la plataforma hardware.

- Alternativa futura: OpenAI planea usar soluciones Cerebras y, posiblemente, otros chips para mejorar el rendimiento de sus herramientas para desarrolladores.

Conclusiones
OpenAI busca activamente nuevos socios tecnológicos para no depender completamente de Nvidia. Paralelamente, la compañía desarrolla una estrategia de inversiones en startups (Cerebras, Groq) y también considera grandes acuerdos con Nvidia y posibles inversiones de hasta 100 millones de dólares. Esto ayudará a mejorar la inferencia y acelerar el desarrollo de productos IA.