La evolución de DeepSeek de V1 a R1: aprendizaje por recompensas y destilación

Serie V (versiones base)

- **V1: arquitectura fundacional**

**Paso 1**: implementación inicial sobre **transformers estándar**, entrenada con datasets genéricos (libros, web).

- **Paso 2**: **preentrenamiento multitarea** (traducción, preguntas y respuestas, resumen) para mejorar la generalización.

- **Paso 3**: optimización de la **atención esparsa** para reducir el coste computacional.

- **Paso 4**: integración de **embeddings contextuales dinámicos** para manejar entradas largas (>4k tokens).

- **Paso 5**: **V3** logró el **estado del arte en GLUE** gracias al *fine-tuning adaptativo* y a datos sintéticos generados por IA.

- **Serie R (versiones optimizadas con RL)**

**R1** fue la cumbre de esta línea:

**Paso 1**: entrenamiento base partiendo de **V3**.

- **Paso 2**: **aprendizaje por refuerzo (RL)** con recompensas híbridas (humanas y automáticas).

- **Paso 3**: mejora de la **coherencia a largo plazo** en los diálogos mediante *rollout simulations*.

- **Paso 4**: reducción de **sesgos tóxicos** con filtros de recompensa negativa.

- **Paso 5**: **R1** superó a V3 en **HumanEval** (programación) y **MT-Bench** (diálogo), con un 40 % menos de parámetros.

Aprendizaje por recompensas: con y sin humanos

- **Con humanos (RLHF, Reinforcement Learning from Human Feedback)**

**Técnica**: personas puntúan las respuestas del modelo para entrenar un **modelo de recompensa** (RM).

- **En DeepSeek**: un **dataset de preferencias** de 500k muestras etiquetadas por evaluadores expertos, y un **RM híbrido** que combinó puntuaciones humanas con métricas automáticas (coherencia, precisión).

- **Resultado**: 25 % de mejora en alineación ética (medida con **ETHICS**).

- **Sin humanos (RLAIF, Reinforcement Learning from AI Feedback)**

**Técnica**: usar modelos de IA (por ejemplo **V3**) para generar preferencias y entrenar el RM.

- **En DeepSeek**: V3 generó 1M de ejemplos de preguntas y respuestas para entrenar el RM, que juzgaba las respuestas por *consistencia lógica* y *falacias detectadas*.

- **Resultado**: 70 % de ahorro en etiquetado humano manteniendo el 90 % del rendimiento.

Destilación de modelos en DeepSeek

La destilación fue clave para crear versiones eficientes (R1 frente a V3):

- **Destilación de conocimiento clásica**: **V3** (maestro) → **R1** (alumno), transfiriendo conocimiento con *soft targets* (probabilidades de salida).

- **Destilación modular**: descomposición del modelo en submódulos, destilando solo los componentes críticos (por ejemplo, las capas de atención).

- **Cuantización + destilación**: compresión de **32 a 8 bits** tras destilar, manteniendo el 95 % de la precisión.

- **Autodestilación**: **R1** se autodestiló en versiones más pequeñas (*R1-Lite*) usando su propia salida como dataset.

Conclusión: el legado de DeepSeek

La evolución de V1 a R1 descansa en tres pilares:

- **Escalabilidad**: de arquitecturas estándar a transformers optimizados con RL.

- **Eficiencia**: destilación agresiva sin sacrificar capacidades.

- **Alineación**: combatir sesgos con recompensas híbridas (humanas e IA).

Como dijo el equipo de DeepSeek en el paper de R1:

“La IA del futuro no será la más grande, sino la que mejor equilibre inteligencia, ética y eficiencia”.

Y tú, ¿prefieres modelos grandes y lentos, o pequeños y ágiles?