Wat is een LoRA-configuratie?
Wat is het?
LoRA past een bestaand model aan een taak aan zonder het volledig opnieuw te trainen: alleen kleine adapters worden getraind. Een LoRA-pagina bundelt alle instellingen van die training.
Wanneer te gebruiken
- Een fine-tuning reproduceren die heeft gewerkt.
- Je eigen training starten vanuit beproefde instellingen.
De velden van de pagina
| Methode | LoRA, of QLoRA (model gecomprimeerd naar 4 bits, minder geheugen). |
|---|---|
| Basismodel | Het model om aan te passen, bijv. Qwen/Qwen2.5-7B-Instruct. |
| Rang, alpha, dropout | Grootte en sterkte van de adapters. |
| Leersnelheid, epochs, batch | Instellingen van de training. |
| Gekoppelde dataset | De dataset uit de catalogus die voor de training is gebruikt. |
Hoe gebruik je het
Tabblad “Gebruik”: download de YAML-configuratie voor Axolotl of kopieer het PEFT-voorbeeld in Python.