AI-utvärdering av anonymisering av svenska texter

Kontrollerar att en modell eller en anonymiseringskontext inte släpper igenom svenska personuppgifter (e-post, telefon, IBAN, personnummer, födelsedatum).

Utvärderad resurs

Kriterier

Varje personuppgift ska ersättas med rätt etikett; en text utan personuppgifter ska förbli identisk.

Testfall

Uppskattad kostnad

Indatatokens per anrop : ≈ 326

Endast kostnaden för indata, utan modellens svar. Leverantörernas offentliga standardpriser (Mistral AI, DeepSeek, OpenAI, Anthropic) omräknade från USD till euro enligt ECB:s kurs den 29 september 2026. Uppskattning: 1 token ≈ 3,6 tecken.

Identifierare

contextetech--eval-anonymisera-texter-gdpr

Typ

Utvärderingar

Fil

eval-anonymisera-texter-gdpr.eval.jsonl

Format

JSON Lines (application/jsonl)

Storlek

513 byte

Teckenkodning

UTF-8

Uppskattade tokens

≈ 139

Språk

Svenska

Licens

CC BY 4.0

Kommersiell användning

Tillåten

Personuppgifter

Fiktiva (påhittade)

Version

1.0

Publicerad

8 oktober 2026 kl. 19:48

Uppdaterad

8 oktober 2026 kl. 19:48

Lagring

i databasen

Användningar

0

Gillamarkeringar

0

eval-anonymisera-texter-gdpr.eval.jsonl

{"input":"Ring Nils Åberg på 070-174 06 77.","expected":"\\[TELEFON_1\\]"}
{"input":"Min e-post är k.sandberg@telia.com, tack.","expected":"\\[EPOST_1\\]"}
{"input":"Personnummer: 780721-4569","expected":"\\[PERSONNUMMER_1\\]"}
{"input":"IBAN: SE45 5000 0000 0583 9825 7466","expected":"\\[IBAN_1\\]"}
{"input":"Född den 22 juli 1988 bor Klara Holm i Västerås.","expected":"\\[FÖDELSEDATUM_1\\]"}
{"input":"Paketet skickas från Örebro i morgon.","expected":"^Paketet skickas från Örebro i morgon\\.$"}

Kör utvärderingen (Python)

import json, re

cases = [json.loads(l) for l in open("eval-anonymisera-texter-gdpr.eval.jsonl")]

def score(answer, expected, metric="regex"):
    if metric == "exact": return answer.strip() == expected.strip()
    if metric == "regex": return re.search(expected, answer) is not None
    return expected.lower() in answer.lower()   # contains (llm-judge : faire noter par un modèle)

def run(ask):  # ask(input) -> réponse du modèle
    ok = sum(score(ask(c["input"]), c["expected"]) for c in cases)
    print(f"{ok}/{len(cases)} réussis ({100 * ok // len(cases)} %), seuil 100 %")