¿Qué es una configuración LoRA?
C'est quoi ?
LoRA est une technique pour adapter un modèle existant à une tâche sans le réentraîner entièrement : on entraîne de petits adaptateurs. Une fiche LoRA regroupe tous les réglages de cet entraînement.
Quand l'utiliser
- Reproduire un fine-tuning qui a fonctionné.
- Partir d'une base éprouvée pour votre propre entraînement.
Les champs de la fiche
| Méthode | LoRA, ou QLoRA (modèle compressé en 4 bits, moins de mémoire). |
|---|---|
| Modèle de base | Le modèle à adapter, par exemple Qwen/Qwen2.5-7B-Instruct. |
| Rang, alpha, dropout | La taille et la force des adaptateurs. |
| Taux d'apprentissage, époques, batch | Les réglages de l'entraînement. |
| Dataset lié | Le dataset du catalogue utilisé pour l'entraînement. |
Comment s'en servir
Onglet « Utiliser » : téléchargez la config YAML pour Axolotl, ou copiez l'exemple PEFT en Python.