Avaliação de IA da anonimização de textos portugueses

Verifica que um modelo ou um contexto de anonimização não deixa passar dados pessoais portugueses (e-mail, telefone, IBAN, NIF, data de nascimento).

Recurso avaliado

Critérios

Cada dado pessoal deve ser substituído pela etiqueta correta; um texto sem dados pessoais deve ficar idêntico.

Casos de teste

Custo estimado

Tokens de entrada por chamada : ≈ 329

Apenas o custo de entrada, sem a resposta do modelo. Preços públicos padrão dos fornecedores (Mistral AI, DeepSeek, OpenAI, Anthropic) convertidos de USD para euros à taxa do BCE de 29 de setembro de 2026. Estimativa: 1 token ≈ 3,6 caracteres.

Identificador

contextetech--eval-anonimizar-textos-rgpd-pt

Tipo

Avaliações

Ficheiro

eval-anonimizar-textos-rgpd-pt.eval.jsonl

Formato

JSON Lines (application/jsonl)

Tamanho

501 bytes

Codificação

UTF-8

Tokens estimados

≈ 138

Idioma

Português

Licença

CC BY 4.0

Utilização comercial

Permitida

Dados pessoais

Fictícios (inventados)

Versão

1.0

Publicado em

8 de outubro de 2026 às 19:47

Atualizado em

8 de outubro de 2026 às 19:47

Armazenamento

na base de dados

Utilizações

0

Gostos

0

eval-anonimizar-textos-rgpd-pt.eval.jsonl

{"input":"Liguem ao Tiago Martins para o 936 987 654.","expected":"\\[TELEFONE_1\\]"}
{"input":"O meu e-mail é s.rodrigues@sapo.pt, obrigado.","expected":"\\[EMAIL_1\\]"}
{"input":"NIF: 123456789","expected":"\\[NIF_1\\]"}
{"input":"IBAN: PT50 0002 0123 1234 5678 9015 4","expected":"\\[IBAN_1\\]"}
{"input":"Nascida a 22/07/1988, Beatriz Sousa vive em Braga.","expected":"\\[DATA_NASCIMENTO_1\\]"}
{"input":"A encomenda sai de Coimbra amanhã.","expected":"^A encomenda sai de Coimbra amanhã\\.$"}

Executar a avaliação (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonimizar-textos-rgpd-pt.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")