W skrócie
- Ewaluacja (eval) to zestaw testów, który sprawdza, czy aplikacja z modelem działa dobrze, zanim puścisz ją do pracy i po każdej zmianie.
Dokumentacja Anthropic o ewaluacji zaczyna od kryteriów sukcesu, które mają być konkretne, mierzalne, osiągalne i istotne. Potem buduje się przypadki testowe, w tym brzegowe, i ocenia wyniki regułami, innym modelem według rubryki albo człowiekiem. Część przypadków warto zostawić jako zestaw wstrzymany, by sprawdzić, czy poprawki działają ogólnie, a nie tylko na przykładach, które znasz.
Narzędzia
Na początek wystarczy arkusz i skrypt z dwudziestoma przykładami. Gdy zestawów przybywa albo oceniasz agentów z narzędziami, pomagają frameworki, takie jak Inspect od brytyjskiego AI Security Institute.
Gdzie czytać dalej
Jak ocenić agenta, zanim mu zaufasz i Inspect, lm-evaluation-harness i własne testy. Pojęcie halucynacja. Całość: hub Harness i ewaluacje.