DeepSeek publicó como código abierto DeepInfer, el marco de inferencia de alto rendimiento que utiliza en sus servicios de producción, con soporte inicial para DeepSeek-V4.1-Flash y licencia Apache 2.0.

La inferencia es el trabajo de ejecutar un modelo ya entrenado para responder solicitudes. El mismo modelo puede costar mucho más o menos según el software que lo sirve, de modo que las decisiones de un motor inciden directamente en el precio por token y en el consumo energético.

El lanzamiento incluye kernels optimizados, paralelismo de atención y de expertos, decodificación especulativa con verificación programada por confianza, recuperación acotada de la ventana de atención y planificación asíncrona de lotes, según el repositorio en GitHub.

También incorpora modos de inferencia invariante por lote y muestreo determinista, funciones poco vistosas pero claves para auditar resultados y repetir experimentos. Añade salidas estructuradas con expresiones regulares, esquemas JSON y gramáticas EBNF.

DeepInfer corre sobre las GPU SM100 de Nvidia y las NPU Ascend 950 de Huawei, una señal de la estrategia de DeepSeek para no depender de un solo proveedor de hardware. La compañía dijo que el motor se construyó principalmente sobre vLLM y que también tomó ideas de SGLang y TensorRT-LLM.

El lanzamiento no es un servicio completo. El propio repositorio advierte que faltan un sistema de caché KV, la disagregación entre prefill y decodificación y el balanceo de carga entre réplicas, piezas necesarias para operar una API en línea a gran escala.

DeepSeek publicó además deepseek-recipe, una biblioteca con licencia MIT que convierte solicitudes de API al formato de conversación de sus modelos, renderiza indicaciones y codifica tokens. Es el contrato entre el servidor de API y el motor de inferencia.

Las cifras de rendimiento son de la propia empresa: midió sus referencias con cuatro GPU SM100 para procesar indicaciones y 64 para generar respuestas. No hay una evaluación independiente de las ganancias, según Bloomberg.

El movimiento es inusual porque los laboratorios suelen proteger las técnicas con las que sirven sus modelos. Al abrirlas, DeepSeek permite que nubes y empresas que ya ejecutan sus modelos repliquen su pila y potencialmente reduzcan costos.

La jugada refuerza el patrón de la compañía china: liberar pesos y ahora también el software de serving para ganar adopción frente a competidores que cobran por API. El efecto práctico dependerá de cuántos equipos logren reconstruir la infraestructura faltante.

Fuentes
GitHub — DeepInfer
The Next Web

Crédito de la imagen: Foto de Vishnu Mohanan en Unsplash.