AI evaluation of English text anonymization

Checks that an anonymization model or context lets no U.S. personal data through (email, phone, SSN, date of birth, medical record number).

Risorsa valutata

Criteri

Each piece of personal data must be replaced by the right tag; a text without personal data must stay identical.

Casi di test

Costo stimato

Token di input per chiamata : ≈ 320

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--eval-anonymize-english-text

Tipo

Valutazioni

File

eval-anonymize-english-text.eval.jsonl

Formato

JSON Lines (application/jsonl)

Dimensione

476 byte

Codifica

UTF-8

Token stimati

≈ 132

Lingua

Inglese

Licenza

CC BY 4.0

Uso commerciale

Consentito

Dati personali

Fittizi (inventati)

Versione

1.0

Pubblicato il

2 ottobre 2026 alle ore 21:54

Aggiornato il

2 ottobre 2026 alle ore 21:54

Archiviazione

nel database

Utilizzi

0

Mi piace

0

eval-anonymize-english-text.eval.jsonl

{"input":"Call Daniel Brooks at 312-555-0199.","expected":"\\[PHONE_1\\]"}
{"input":"My email is k.nguyen@outlook.com, thanks.","expected":"\\[EMAIL_1\\]"}
{"input":"SSN: 078-05-1120","expected":"\\[SSN_1\\]"}
{"input":"Born on 07/22/1985, Sarah Mitchell lives in Denver.","expected":"\\[DOB_1\\]"}
{"input":"MRN 55120034 was admitted on Monday.","expected":"\\[MRN_1\\]"}
{"input":"The package leaves Seattle tomorrow.","expected":"^The package leaves Seattle tomorrow\\.$"}

Esegui la valutazione (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymize-english-text.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")