contextetech / mistral7b-anonymisation-qlora
Configuration QLoRA de départ pour spécialiser Mistral 7B Instruct dans l'anonymisation RGPD, avec le dataset anonymisation-rgpd-fr. Tient sur un GPU de 24 Go.
Hyperparameter
| Basismodell | mistralai/Mistral-7B-Instruct-v0.3 |
|---|---|
| Methode | QLoRA 4-Bit |
| r / alpha / dropout | 16 / 32 / 0.05 |
| Zielmodule | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Lernrate | 0.0002 |
| Epochen | 3 |
| Batch × Akkumulation | 4 × 4 = 16 |
| Sequenzlänge | 1024 |
Verknüpftes Dataset
contextetech / anonymisation-rgpd-fr
Notizen
Configuration de départ : elle n'a pas encore été entraînée ni évaluée par ContexteTech. Avec 20 exemples seulement, le dataset sert à tester la chaîne ; pour un vrai usage, visez plusieurs centaines d'exemples. Mesurez le résultat avec l'évaluation eval-anonymisation-rgpd.