Nvidia señaló que gracias a las mejoras en la arquitectura Blackwell, la reducción del costo de inferencia de redes neuronales alcanzó un nivel diez veces mayor, y atribuye el éxito no solo al hardware.

Reducción del costo de inferencia en la arquitectura Nvidia Blackwell

Los nuevos aceleradores Nvidia Blackwell permiten reducir el precio de ejecución de sistemas de IA entrenados entre 4 y 10 veces. Estos son datos publicados por Nvidia misma. Sin embargo, sin mejoras complementarias de software e infraestructura, tal aumento no es alcanzable.

Cómo se logró una reducción significativa de costos
Indicador Qué ayudó Arquitectura Blackwell Aceleradores Modelos Código abierto (MoE, NVFP4 y otros) Plataformas Baseten, DeepInfra, Fireworks AI, Together AI Pilas de software Pipelines optimizados para baja precisión
* La migración a Blackwell duplica la eficiencia respecto al generación anterior de aceleradores.

* El uso de formatos de baja precisión (por ejemplo NVFP4) reduce aún más los gastos.

Ejemplos prácticos
Empresa Tarea Resultado Sully.ai Salud, modelos abiertos en Baseten 90 % de ahorro en inferencia (reducción de 10 veces), 65 % de reducción del tiempo de respuesta. La automatización de código y registros médicos ahorró 30 millones de minutos de trabajo. Latitude (AI Dungeon) Juegos, modelos MoE en DeepInfra El costo de inferencia por 1 millón de tokens cayó de $0,20 a $0,05: primero con MoE (hasta $0,10), luego con NVFP4. Sentient Foundation Chat de agente, Fireworks AI La rentabilidad aumentó entre 25 % y 50 %. La plataforma procesó 5,6 millones de solicitudes por semana sin aumentar la latencia. Decagon Soporte al cliente por voz, Together AI El costo por solicitud se redujo seis veces gracias a la pila multimodelo en Blackwell. Tiempo de respuesta <400 ms incluso con varios miles de tokens.

Por qué son importantes las características de la carga de trabajo
* Los modelos razonadores generan más tokens, lo que requiere aceleradores más potentes.

* Las plataformas utilizan *servicio desagregado*: contexto previo y generación de tokens separados para manejar secuencias largas de manera eficiente.

* Con grandes volúmenes de generación se puede lograr hasta un aumento de 10 veces en eficiencia; con volúmenes pequeños, solo hasta 4 veces.

Alternativas a Blackwell
La migración a aceleradores AMD Instinct MI300, Google TPU, Groq o Cerebras también reduce los costos. El punto clave es elegir la combinación adecuada de hardware, software y modelos para la carga de trabajo específica, no simplemente usar Blackwell.

Conclusión:

La reducción del costo de inferencia se logra con un enfoque integral: potencia de hardware (Blackwell), modelos abiertos, pilas optimizadas y una correcta distribución de tareas. Esto permite a las empresas ahorrar hasta diez veces en salud, juegos, IA de agente y soporte por voz sin perder calidad ni velocidad.