Valutazione IA dell'anonimizzazione di testi italiani

Verifica che un modello o un contesto di anonimizzazione non lasci passare dati personali italiani (email, telefono, IBAN, codice fiscale, data di nascita).

Risorsa valutata

Criteri

Ogni dato personale deve essere sostituito dall'etichetta corretta; un testo senza dati personali deve restare identico.

Casi di test

Costo stimato

Token di input per chiamata : ≈ 337

Solo costo di input, esclusa la risposta del modello. Prezzi pubblici standard dei fornitori (Mistral AI, DeepSeek, OpenAI, Anthropic) convertiti da USD in euro al cambio BCE del 29 settembre 2026. Stima: 1 token ≈ 3,6 caratteri.

Identificativo

contextetech--eval-anonimizzare-testi-gdpr

Tipo

Valutazioni

File

eval-anonimizzare-testi-gdpr.eval.jsonl

Formato

JSON Lines (application/jsonl)

Dimensione

517 byte

Codifica

UTF-8

Token stimati

≈ 143

Lingua

Italiano

Licenza

CC BY 4.0

Uso commerciale

Consentito

Dati personali

Fittizi (inventati)

Versione

1.0

Pubblicato il

3 ottobre 2026 alle ore 05:20

Aggiornato il

3 ottobre 2026 alle ore 05:20

Archiviazione

nel database

Utilizzi

0

Mi piace

0

eval-anonimizzare-testi-gdpr.eval.jsonl

{"input":"Chiamate Luca Ferrari al 340 987 6543.","expected":"\\[TELEFONO_1\\]"}
{"input":"La mia email è s.ricci@virgilio.it, grazie.","expected":"\\[EMAIL_1\\]"}
{"input":"Codice fiscale: RSSMRA85T10A562S","expected":"\\[CODICE_FISCALE_1\\]"}
{"input":"IBAN: IT60 X054 2811 1010 0000 0123 456","expected":"\\[IBAN_1\\]"}
{"input":"Nata il 22/07/1988, Francesca Gallo vive a Bologna.","expected":"\\[DATA_NASCITA_1\\]"}
{"input":"Il pacco parte da Napoli domani.","expected":"^Il pacco parte da Napoli domani\\.$"}

Esegui la valutazione (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonimizzare-testi-gdpr.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")