O que é um dataset de fine-tuning?
O que é?
Um dataset é um conjunto de exemplos em formato JSONL (uma linha JSON por exemplo), usado para treinar ou avaliar um modelo.
Quando o usar
- Fazer o fine-tuning de um modelo no seu domínio (com uma configuração LoRA).
- Avaliar um modelo em casos reais.
Campos da página
| Formato | Chat (messages), instrução, completion, preferências (prompt / chosen / rejected, para DPO ou RLHF) ou texto simples (text, para pré-treino contínuo); detetado automaticamente. |
|---|---|
| Conteúdo | Colado ou importado; os ficheiros grandes vão para o armazenamento de objetos. |
| Pré-visualização | As primeiras linhas são mostradas na página. |
Como o usar
Separador “Utilização”: descarregue o JSONL e carregue-o com a biblioteca datasets (exemplo fornecido) ou diretamente no Axolotl.