Was ist eine LLM-Evaluierung?
Was ist das?
Eine Evaluation ist eine Reihe von Testfällen (Eingabe und erwartete Antwort) mit einer Bewertungsmethode. Sie misst, ob ein Modell, Prompt, Kontext oder Agent seine Aufgabe erfüllt.
Wann verwenden
- Zwei Prompts oder Modelle an denselben Fällen vergleichen.
- Prüfen, dass eine Änderung nichts kaputt gemacht hat.
Felder der Seite
| Bewertete Ressource | Die getestete Katalogseite (optional). |
|---|---|
| Bewertungsmethode | Enthält, exakt, regulärer Ausdruck oder von einem Modell bewertet. |
| Bestehensgrenze | Der Anteil bestandener Fälle, der erreicht werden muss. |
| Testfälle | Eingaben und erwartete Antworten. |
So nutzt du es
Tab „Verwenden“: Lade das JSONL der Fälle herunter; das Python-Beispiel berechnet das Ergebnis.