Entraînement : datasets, LoRA et évaluations

Modifier le modèle en l'entraînant.

- [kh1eu2] Corpus : articles de Contexte Tech par section | corpus | fr | MIT | https://contextetech.com/corpus/articles-contexte-tech-kh1eu2
- [102f31] Dataset IA : agent qui cherche le code douanier SH | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/agent-code-sh-douane-102f31
- [1sf49f2] Dataset IA : trouver le code douanier SH d'un produit | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-code-sh-douane-1sf49f2
- [148bxpg] Dataset IA (DPO) : code douanier SH sans inventer | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/preferences-code-sh-douane-148bxpg
- [hp52hd] Dataset IA : agent qui cherche le code NAF avec un outil | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/agent-code-naf-ape-hp52hd
- [n8qhje] Dataset IA : trouver le code NAF (APE) d'une activité | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-code-naf-ape-n8qhje
- [1qhebcc] Dataset IA (DPO) : code NAF sans inventer | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/preferences-code-naf-ape-1qhebcc
- [1495xut] Dataset IA : lire la météo marine relevée par les bouées | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-meteo-marine-bouees-1495xut
- [qchoqc] Dataset IA : agent qui cherche le métier ESCO avec un outil | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/agent-metier-esco-qchoqc
- [1s6j09t] Dataset IA : trouver le métier ESCO d'un intitulé de poste | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-metier-esco-1s6j09t
- [n0p23j] Dataset IA (DPO) : métier ESCO sans inventer | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/preferences-metier-esco-n0p23j
- [1m0itew] Dataset IA : normaliser une adresse française | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-adresses-france-1m0itew
- [o2ww1g] Corpus : définitions des ressources IA de Contexte Tech | corpus | fr | MIT | https://contextetech.com/corpus/guides-contexte-tech-o2ww1g
- [1tsap5g] Dataset belge d'anonymisation de données personnelles (RGPD) | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/anonymisation-rgpd-be-1tsap5g
- [1muzget] Dataset français d'anonymisation de données personnelles | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/anonymisation-rgpd-fr-1muzget
- [bm25zk] Agent IA pour les noms de lieux du Canada (fr/en) | dataset | multi | CC-BY-4.0 | https://contextetech.com/datasets/agent-toponymes-canada-bm25zk
- [sw3sz9] Dataset suisse d'anonymisation de données personnelles (nLPD) | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/anonymisation-nlpd-ch-sw3sz9
- [1lnk2xf] Dataset IA sur les municipalités du Québec | dataset | fr | CC-BY-4.0 | https://contextetech.com/datasets/assistant-municipalites-quebec-1lnk2xf
- [1lx4w2h] Évaluation IA de l'anonymisation des données personnelles | eval | fr | CC-BY-4.0 | https://contextetech.com/evaluations/eval-anonymisation-rgpd-1lx4w2h
- [187bztw] Configuration QLoRA pour anonymiser avec Mistral 7B | lora | multi | Apache-2.0 | https://contextetech.com/lora/mistral7b-anonymisation-qlora-187bztw

contextetech

Corpus : articles de Contexte Tech par section

Les articles du blog Contexte Tech découpés par section, avec l'adresse de l'article pour chaque morceau : un corpus prêt pour un RAG.

Données17 morceau(x) 2 j

contextetech

Dataset IA : agent qui cherche le code douanier SH

43 traces d'agent : appel de l'outil de recherche dans la nomenclature, puis code SH, demande de précision ou refus.

Données 2 j

contextetech

Dataset IA : trouver le code douanier SH d'un produit

43 échanges avec un extrait du Système harmonisé dans le contexte : le modèle donne le code SH, demande une précision ou refuse.

Données 2 j

contextetech

Dataset IA (DPO) : code douanier SH sans inventer

40 paires de préférences : code SH lu dans la nomenclature et cité, contre code voisin ou donné de mémoire.

Données 2 j

contextetech

Dataset IA : agent qui cherche le code NAF avec un outil

60 traces d'agent : appel de l'outil de recherche NAF, résultat de la nomenclature, puis code APE ou refus.

Données 2 j

contextetech

Dataset IA : trouver le code NAF (APE) d'une activité

60 échanges avec un extrait de la nomenclature NAF dans le contexte : le modèle donne le code APE, demande une précision ou refuse.

Données 172 j

contextetech

Dataset IA (DPO) : code NAF sans inventer

56 paires de préférences : réponse lue dans la nomenclature NAF et citée, contre code inventé ou donné de mémoire.

Données 2 j

contextetech

Dataset IA : lire la météo marine relevée par les bouées

56 échanges avec des relevés réels de bouées Météo-France : vent en nœuds et Beaufort, état de la mer, eau, refus de prévoir.

Données 32 j

contextetech

Dataset IA : agent qui cherche le métier ESCO avec un outil

60 traces d'agent : appel de l'outil de recherche ESCO, métiers renvoyés, puis métier et code ou refus.

Données 2 j

contextetech

Dataset IA : trouver le métier ESCO d'un intitulé de poste

60 échanges avec des métiers ESCO dans le contexte : le modèle donne le métier et son code, demande une précision ou refuse.

Données 2 j

contextetech

Dataset IA (DPO) : métier ESCO sans inventer

57 paires de préférences : métier lu dans la classification ESCO et cité, contre métier voisin ou donné de mémoire.

Données 2 j

contextetech

Dataset IA : normaliser une adresse française

43 échanges avec les lignes de la Base Adresse Nationale dans le contexte : adresse normalisée et code INSEE, ou question, ou refus.

Données 12 j

contextetech

Corpus : définitions des ressources IA de Contexte Tech

Les définitions des types de ressources IA de Contexte Tech, une par morceau avec l'adresse du guide : un petit corpus prêt pour un RAG.

Données20 morceau(x) 2 j

contextetech

Dataset belge d'anonymisation de données personnelles (RGPD)

20 exemples pour anonymiser des textes de Belgique (RGPD) : registre national, téléphones +32, IBAN BE, plaques, codes postaux. Prénoms les plus donnés selon…

Données 132 j

contextetech

Dataset français d'anonymisation de données personnelles

20 exemples rédigés à la main (personnes et numéros fictifs) pour apprendre à un modèle à anonymiser des textes en français, cas sans donnée personnelle inclus.

Données 373 j

contextetech

Agent IA pour les noms de lieux du Canada (fr/en)

28 échanges d'appels d'outils fr/en pour un agent sur les noms de lieux du Canada : question, appel chercher_lieu, résultat officiel de la Base de données…

Données 173 j

contextetech

Dataset suisse d'anonymisation de données personnelles (nLPD)

20 exemples pour anonymiser des textes de Suisse romande (nLPD) : numéro AVS, téléphones +41, IBAN CH, plaques, NPA. Prénoms les plus donnés selon l'OFS…

Données 153 j

contextetech

Dataset IA sur les municipalités du Québec

40 échanges pour un assistant sur les municipalités du Québec : région, MRC, population, superficie, gentilé, comparaisons. Réponses tirées du Répertoire des…

Données 213 j

contextetech

Évaluation IA de l'anonymisation des données personnelles

Vérifie qu'un modèle ou un contexte d'anonymisation ne laisse passer aucune donnée personnelle (e-mail, téléphone, IBAN).

Données5 cas 8 j

contextetech

Configuration QLoRA pour anonymiser avec Mistral 7B

Configuration QLoRA de départ pour spécialiser Mistral 7B Instruct dans l'anonymisation RGPD, avec le dataset anonymisation-rgpd-fr. Tient sur un GPU de 24 Go.

ConfigurationQLoRA 4-bitMistral-7B-Instruct-v0.3r=16 8 j

Qu’est-ce que l’entraînement d’un modèle IA ?

L’entraînement consiste à faire apprendre un modèle à partir de données en ajustant ses paramètres. Il permet notamment d’adapter un modèle existant à un domaine ou à une tâche. Cette famille rassemble les données, les réglages et les évaluations utiles pour préparer cet apprentissage et mesurer ses résultats.