AI evaluation of English text anonymization

Checks that an anonymization model or context lets no U.S. personal data through (email, phone, SSN, date of birth, medical record number).

Ressource évaluée

Critères

Each piece of personal data must be replaced by the right tag; a text without personal data must stay identical.

Cas de test

Coût estimé

Tokens d'entrée par appel : ≈ 320

Coût d'entrée seulement, sans la réponse du modèle. Prix publics des fournisseurs (Mistral AI, DeepSeek, OpenAI, Anthropic), tarif standard en dollars converti en euros au taux BCE du 29 septembre 2026. Estimation : 1 token ≈ 3,6 caractères.

Identifiant

contextetech--eval-anonymize-english-text

Type

Évaluations

Fichier

eval-anonymize-english-text.eval.jsonl

Format

JSON Lines (application/jsonl)

Taille

476 octets

Encodage

UTF-8

Tokens estimés

≈ 132

Langue

Anglais

Licence

CC BY 4.0

Usage commercial

Autorisé

Données personnelles

Fictives (inventées)

Version

1.0

Publié le

2 octobre 2026 à 21:54

Mis à jour le

2 octobre 2026 à 21:54

Stockage

en base

Utilisations

0

J'aime

0

eval-anonymize-english-text.eval.jsonl

{"input":"Call Daniel Brooks at 312-555-0199.","expected":"\\[PHONE_1\\]"}
{"input":"My email is k.nguyen@outlook.com, thanks.","expected":"\\[EMAIL_1\\]"}
{"input":"SSN: 078-05-1120","expected":"\\[SSN_1\\]"}
{"input":"Born on 07/22/1985, Sarah Mitchell lives in Denver.","expected":"\\[DOB_1\\]"}
{"input":"MRN 55120034 was admitted on Monday.","expected":"\\[MRN_1\\]"}
{"input":"The package leaves Seattle tomorrow.","expected":"^The package leaves Seattle tomorrow\\.$"}

Lancer l'évaluation (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymize-english-text.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")