¿Qué es una configuración LoRA?
¿Qué es?
LoRA adapta un modelo existente a una tarea sin reentrenarlo por completo: solo se entrenan pequeños adaptadores. Una página LoRA reúne todos los parámetros de ese entrenamiento.
Cuándo usarlo
- Reproducir un fine-tuning que funcionó.
- Empezar tu propio entrenamiento con parámetros probados.
Campos de la página
| Método | LoRA, o QLoRA (modelo comprimido a 4 bits, menos memoria). |
|---|---|
| Modelo base | El modelo a adaptar, p. ej. Qwen/Qwen2.5-7B-Instruct. |
| Rank, alpha, dropout | Tamaño e intensidad de los adaptadores. |
| Learning rate, epochs, batch | Parámetros de entrenamiento. |
| Dataset vinculado | El dataset del catálogo usado para el entrenamiento. |
Cómo usarlo
Pestaña “Usar”: descarga la config YAML para Axolotl o copia el ejemplo en Python con PEFT.