O que é uma configuração LoRA?
O que é?
O LoRA adapta um modelo existente a uma tarefa sem o voltar a treinar por completo: só são treinados pequenos adaptadores. Uma página LoRA reúne todas as definições desse treino.
Quando o usar
- Reproduzir um fine-tuning que funcionou.
- Começar o seu próprio treino a partir de definições comprovadas.
Campos da página
| Método | LoRA, ou QLoRA (modelo comprimido a 4 bits, menos memória). |
|---|---|
| Modelo base | O modelo a adaptar, p. ex. Qwen/Qwen2.5-7B-Instruct. |
| Rank, alpha, dropout | Tamanho e intensidade dos adaptadores. |
| Taxa de aprendizagem, épocas, batch | Definições do treino. |
| Dataset associado | O dataset do catálogo usado no treino. |
Como o usar
Separador “Utilização”: descarregue a configuração YAML para o Axolotl, ou copie o exemplo PEFT em Python.