¿Qué es una evaluación de LLM?
¿Qué es?
Una evaluación es un conjunto de casos de prueba (entrada y respuesta esperada) con un método de puntuación. Mide si un modelo, prompt, contexto o agente hace bien su trabajo.
Cuándo usarlo
- Comparar dos prompts o modelos con los mismos casos.
- Comprobar que un cambio no ha roto nada.
Campos de la página
| Recurso evaluado | La página del catálogo que se prueba (opcional). |
|---|---|
| Método de puntuación | Contiene, exacta, expresión regular o puntuado por un modelo. |
| Umbral de aprobación | El porcentaje de casos aprobados que hay que alcanzar. |
| Casos de prueba | Entradas y respuestas esperadas. |
Cómo usarlo
Pestaña “Usar”: descarga el JSONL de casos; el ejemplo en Python calcula la puntuación.