Czym jest konfiguracja LoRA?
Co to jest?
LoRA dopasowuje istniejący model do zadania bez pełnego ponownego trenowania: trenowane są tylko małe adaptery. Strona LoRA zbiera wszystkie ustawienia tego treningu.
Kiedy go używać
- Odtworzyć fine-tuning, który zadziałał.
- Rozpocząć własny trening od sprawdzonych ustawień.
Pola strony
| Metoda | LoRA lub QLoRA (model skompresowany do 4 bitów, mniej pamięci). |
|---|---|
| Model bazowy | Model do dopasowania, np. Qwen/Qwen2.5-7B-Instruct. |
| Rank, alpha, dropout | Rozmiar i siła adapterów. |
| Współczynnik uczenia, epoki, batch | Ustawienia treningu. |
| Powiązany zbiór danych | Zbiór z katalogu użyty do treningu. |
Jak go używać
Zakładka „Użycie”: pobierz konfigurację YAML dla Axolotl albo skopiuj przykład PEFT w Pythonie.