Evaluación de IA de la anonimización de textos

Comprueba que un modelo o contexto de anonimización no deja pasar ningún dato personal español (DNI, teléfono, IBAN, correo, fecha de nacimiento).

Recurso evaluado

Criterios

Cada dato personal debe sustituirse por la etiqueta correcta; un texto sin datos personales debe quedar idéntico.

Casos de prueba

Coste estimado

Tokens de entrada por llamada : ≈ 326

Solo coste de entrada, sin la respuesta del modelo. Precios públicos estándar de los proveedores (Mistral AI, DeepSeek, OpenAI, Anthropic) convertidos de USD a euros al tipo del BCE del 29 de septiembre de 2026. Estimación: 1 token ≈ 3,6 caracteres.

Identificador

contextetech--eval-anonimizar-textos-rgpd

Tipo

Evaluaciones

Archivo

eval-anonimizar-textos-rgpd.eval.jsonl

Formato

JSON Lines (application/jsonl)

Tamaño

496 bytes

Codificación

UTF-8

Tokens estimados

≈ 137

Idioma

Español

Licencia

CC BY 4.0

Uso comercial

Permitido

Datos personales

Ficticios (inventados)

Versión

1.0

Publicado el

3 de octubre de 2026 a las 5:20

Actualizado el

3 de octubre de 2026 a las 5:20

Almacenamiento

en base de datos

Usos

0

Me gusta

0

eval-anonimizar-textos-rgpd.eval.jsonl

{"input":"Llamen a Pablo Sánchez al 699 123 456.","expected":"\\[TELEFONO_1\\]"}
{"input":"Mi correo es m.torres@hotmail.es, gracias.","expected":"\\[EMAIL_1\\]"}
{"input":"DNI: 87654321X","expected":"\\[DNI_1\\]"}
{"input":"IBAN: ES79 2100 0813 6101 2345 6789","expected":"\\[IBAN_1\\]"}
{"input":"Nacida el 22/07/1988, Carmen Ortega vive en Sevilla.","expected":"\\[FECHA_NACIMIENTO_1\\]"}
{"input":"El paquete sale de Zaragoza mañana.","expected":"^El paquete sale de Zaragoza mañana\\.$"}

Ejecutar la evaluación (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonimizar-textos-rgpd.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")