contextetech / mistral7b-anonymisation-qlora
Configuration QLoRA de départ pour spécialiser Mistral 7B Instruct dans l'anonymisation RGPD, avec le dataset anonymisation-rgpd-fr. Tient sur un GPU de 24 Go.
Iperparametri
| Modello base | mistralai/Mistral-7B-Instruct-v0.3 |
|---|---|
| Metodo | QLoRA 4-bit |
| r / alpha / dropout | 16 / 32 / 0.05 |
| Moduli target | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Learning rate | 0.0002 |
| Epoche | 3 |
| Batch × accumulo | 4 × 4 = 16 |
| Lunghezza sequenza | 1024 |
Dataset collegato
contextetech / anonymisation-rgpd-fr
Note
Configuration de départ : elle n'a pas encore été entraînée ni évaluée par ContexteTech. Avec 20 exemples seulement, le dataset sert à tester la chaîne ; pour un vrai usage, visez plusieurs centaines d'exemples. Mesurez le résultat avec l'évaluation eval-anonymisation-rgpd.