AI evaluation of English text anonymization

Checks that an anonymization model or context lets no U.S. personal data through (email, phone, SSN, date of birth, medical record number).

Recurso evaluado

Criterios

Each piece of personal data must be replaced by the right tag; a text without personal data must stay identical.

Casos de prueba

Coste estimado

Tokens de entrada por llamada : ≈ 320

Solo coste de entrada, sin la respuesta del modelo. Precios públicos estándar de los proveedores (Mistral AI, DeepSeek, OpenAI, Anthropic) convertidos de USD a euros al tipo del BCE del 29 de septiembre de 2026. Estimación: 1 token ≈ 3,6 caracteres.

Identificador

contextetech--eval-anonymize-english-text

Tipo

Evaluaciones

Archivo

eval-anonymize-english-text.eval.jsonl

Formato

JSON Lines (application/jsonl)

Tamaño

476 bytes

Codificación

UTF-8

Tokens estimados

≈ 132

Idioma

Inglés

Licencia

CC BY 4.0

Uso comercial

Permitido

Datos personales

Ficticios (inventados)

Versión

1.0

Publicado el

2 de octubre de 2026 a las 21:54

Actualizado el

2 de octubre de 2026 a las 21:54

Almacenamiento

en base de datos

Usos

0

Me gusta

0

eval-anonymize-english-text.eval.jsonl

{"input":"Call Daniel Brooks at 312-555-0199.","expected":"\\[PHONE_1\\]"}
{"input":"My email is k.nguyen@outlook.com, thanks.","expected":"\\[EMAIL_1\\]"}
{"input":"SSN: 078-05-1120","expected":"\\[SSN_1\\]"}
{"input":"Born on 07/22/1985, Sarah Mitchell lives in Denver.","expected":"\\[DOB_1\\]"}
{"input":"MRN 55120034 was admitted on Monday.","expected":"\\[MRN_1\\]"}
{"input":"The package leaves Seattle tomorrow.","expected":"^The package leaves Seattle tomorrow\\.$"}

Ejecutar la evaluación (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymize-english-text.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")