Was ist eine LoRA-Konfiguration?
Was ist das?
LoRA passt ein bestehendes Modell an eine Aufgabe an, ohne es komplett neu zu trainieren: Nur kleine Adapter werden trainiert. Eine LoRA-Seite bündelt alle Einstellungen dieses Trainings.
Wann verwenden
- Ein erfolgreiches Fine-Tuning reproduzieren.
- Dein eigenes Training mit bewährten Einstellungen starten.
Felder der Seite
| Methode | LoRA oder QLoRA (auf 4 Bit komprimiertes Modell, weniger Speicher). |
|---|---|
| Basismodell | Das anzupassende Modell, z. B. Qwen/Qwen2.5-7B-Instruct. |
| Rank, Alpha, Dropout | Größe und Stärke der Adapter. |
| Lernrate, Epochen, Batch | Trainingseinstellungen. |
| Verknüpftes Dataset | Das Dataset aus dem Katalog, das fürs Training genutzt wurde. |
So nutzt du es
Tab „Verwenden“: Lade die YAML-Konfiguration für Axolotl herunter oder kopiere das PEFT-Beispiel in Python.