Cos'è una valutazione di LLM?
Che cos'è?
Una valutazione è un insieme di casi di test (input e risposta attesa) con un metodo di punteggio. Misura se un modello, un prompt, un contesto o un agente fa il suo lavoro.
Quando usarla
- Confrontare due prompt o modelli sugli stessi casi.
- Verificare che una modifica non abbia rotto nulla.
Campi della pagina
| Risorsa valutata | La pagina del catalogo sotto test (facoltativa). |
|---|---|
| Metodo di punteggio | Contiene, esatta, espressione regolare o valutata da un modello. |
| Soglia di superamento | La quota di casi superati da raggiungere. |
| Casi di test | Input e risposte attese. |
Come usarla
Scheda “Usa”: scarica il JSONL dei casi; l'esempio Python calcola il punteggio.