Évaluation IA de l'anonymisation des données personnelles

Vérifie qu'un modèle ou un contexte d'anonymisation ne laisse passer aucune donnée personnelle (e-mail, téléphone, IBAN).

Ressource évaluée

Critères

La donnée personnelle doit être remplacée par la bonne balise ; un texte sans donnée personnelle doit rester identique.

Cas de test

Identifiant

contextetech--eval-anonymisation-rgpd

Fichier

eval-anonymisation-rgpd.eval.jsonl

Format

JSON Lines (application/jsonl)

Taille

433 octets

Encodage

UTF-8

Tokens estimés

≈ 120

Usage commercial

Autorisé

Données personnelles

Fictives (inventées)

Publié le

26 septembre 2026 à 18:12

Mis à jour le

10 octobre 2026 à 18:25

Stockage

en base

Coût estimé

Tokens d'entrée par appel

≈ 323

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 13 octobre 2026. Estimation : 1 token ≈ 3,6 caractères.

eval-anonymisation-rgpd.eval.jsonl

{"input":"Contactez Paul Martin au 07 81 22 33 44.","expected":"\\[TELEPHONE_1\\]"}
{"input":"Mon e-mail est jean.leroy@orange.fr, merci.","expected":"\\[EMAIL_1\\]"}
{"input":"IBAN : FR76 1027 8060 3100 0205 5930 142","expected":"\\[IBAN_1\\]"}
{"input":"Née le 14/02/1990 à Nantes, Sophie Bernard.","expected":"\\[DATE_NAISSANCE_1\\]"}
{"input":"Le colis part de Rennes demain.","expected":"^Le colis part de Rennes demain\\.$"}

Lancer l'évaluation (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymisation-rgpd.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")

Cas d'usage