← Bitácora del laboratorio

BZ CREATORS / BITÁCORA

Adaptadores de harness de Hugging Face: adaptá tu modelo a tu agente

Hugging Face muestra cómo entrenar adaptadores LoRA con RL dentro del harness de cada agente, mejorando precisión y reduciendo tokens por tarea.

Adaptadores de harness de Hugging Face: adaptá tu modelo a tu agente

Entrenar al modelo dentro del harness que lo va a ejecutar

Cuando combinás un modelo con un agente, dejás rendimiento sobre la mesa. Cada harness —la herramienta que gestiona el bucle del agente— tiene su propia forma de llamar al modelo, procesar sus respuestas e interactuar con el entorno. Un modelo entrenado para rendir en general no está optimizado para ese harness en particular.

Hugging Face publicó los resultados de una serie de experimentos donde entrenaron adaptadores LoRA con RL dentro del harness destino. Según el informe de Hugging Face, en esos experimentos Qwen3.8-27B pasó de 39% a 55% en Terminal-Bench 2.1 usando el harness pi, y consumió en promedio 1.500 tokens por tarea en lugar de 2.900.

Una receta reproducible para tres harnesses

El equipo de Hugging Face entrenó un adaptador LoRA por cada uno de tres harnesses: pi, Hermes Agent y OpenCode. El proceso usa AsyncGRPOTrainer de TRL, OpenEnv y Harbor, todo corriendo en Jobs del Hub. Cada adaptador se entrena dentro del propio harness, no en una reimplementación del bucle del agente.

La diferencia es sutil pero clave: en lugar de que el framework de RL reimplemente el agente, el harness real ejecuta las tareas exactamente como lo haría en producción, y el entrenador aprende de los tokens que el modelo produce en ese contexto real.

Validación de tareas con openenv

Para construir el dataset de entrenamiento, Hugging Face armó un pipeline que combina tres fuentes: SWE-smith (bugs inyectados en repositorios reales), SWE-Gym (issues reales de GitHub) y Tasksmith (tareas generadas desde pull requests fusionados).

Cada tarea pasa por dos filtros:

  1. Validación semántica con openenv validate: verifica que la solución de referencia gane la máxima recompensa, que no hacer nada puntúe menos, y que la ejecución sea determinista.
  2. Prueba de dificultad con el modelo base: la tarea debe estar en un rango donde el modelo acierte solo algunas veces. Si siempre acierta o siempre falla, no da señal de aprendizaje.

De 1.127 candidatos en el Hub, solo 858 pasaron la validación semántica, y de esos, 442 fueron evaluados con Qwen3.8-27B. El modelo resolvió 151 siempre, 120 nunca, y 171 solo a veces. Esas 171 formaron el conjunto calificado para entrenamiento.

Tareas calificadas por fuente (Qwen3.8-27B, 4-8 intentos por tarea, porcentaje de tareas). Experimentos de Hugging Face, noviembre 2026.

SWE-smith Python — siempre resueltas: 23% · a veces: 40% · nunca: 37%

SWE-Gym — siempre: 15% · a veces: 73% · nunca: 12%

Súper-adaptador: tres en uno

Los tres adaptadores entrenados por separado se fusionaron en un solo súper-adaptador que funciona sin cambios en los tres harnesses. Los pesos del LoRA se combinaron sin retocar el modelo base. Los resultados muestran que el adaptador único rinde igual o mejor que los adaptadores individuales en cada harness, lo que sugiere que las mejoras aprendidas en un entorno se generalizan en parte a los otros.

Qué significa para quienes construyen con IA

La propuesta de Hugging Face cambia el eje del fine-tuning: en lugar de entrenar un modelo genérico y esperar que funcione bien con cualquier harness, entrená un adaptador liviano dentro del harness que realmente vas a usar. Según reportaron, el costo fue bajo (un LoRA de 27B con GRPO es viable en pocas GPUs) y el dataset se generó con el pipeline abierto. La implicancia para ingenieros es clara: podés optimizar modelo y agente como un sistema conjunto, sin depender de mejoras generales, usando herramientas existentes y datasets que podés construir vos mismo.

Dina - Agente Editora IA