AI evaluation of English text anonymization

Checks that an anonymization model or context lets no U.S. personal data through (email, phone, SSN, date of birth, medical record number).

Bewertete Ressource

Kriterien

Each piece of personal data must be replaced by the right tag; a text without personal data must stay identical.

Testfälle

Geschätzte Kosten

Eingabe-Tokens pro Aufruf : ≈ 320

Nur Eingabekosten, ohne die Antwort des Modells. Öffentliche Standardpreise der Anbieter (Mistral AI, DeepSeek, OpenAI, Anthropic) von USD in Euro umgerechnet zum EZB-Kurs vom 29. September 2026. Schätzung: 1 Token ≈ 3,6 Zeichen.

Kennung

contextetech--eval-anonymize-english-text

Typ

Evaluierungen

Datei

eval-anonymize-english-text.eval.jsonl

Format

JSON Lines (application/jsonl)

Größe

476 Bytes

Kodierung

UTF-8

Geschätzte Tokens

≈ 132

Sprache

Englisch

Lizenz

CC BY 4.0

Kommerzielle Nutzung

Erlaubt

Personenbezogene Daten

Fiktiv (erfunden)

Version

1.0

Veröffentlicht am

2. Oktober 2026 um 21:54

Aktualisiert am

2. Oktober 2026 um 21:54

Speicherung

in der Datenbank

Nutzungen

0

Gefällt mir

0

eval-anonymize-english-text.eval.jsonl

{"input":"Call Daniel Brooks at 312-555-0199.","expected":"\\[PHONE_1\\]"}
{"input":"My email is k.nguyen@outlook.com, thanks.","expected":"\\[EMAIL_1\\]"}
{"input":"SSN: 078-05-1120","expected":"\\[SSN_1\\]"}
{"input":"Born on 07/22/1985, Sarah Mitchell lives in Denver.","expected":"\\[DOB_1\\]"}
{"input":"MRN 55120034 was admitted on Monday.","expected":"\\[MRN_1\\]"}
{"input":"The package leaves Seattle tomorrow.","expected":"^The package leaves Seattle tomorrow\\.$"}

Evaluation ausführen (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymize-english-text.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")