Тестирование LLM‑фичи: можно ли верить своему eval


Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасные ответы и создаёт ложное ощущение надёжности. Разбираем семь ошибок тестирования LLM‑функций и способы построить eval, результатам которого действительно можно доверять. Проверить свой eval

https://habr.com/ru/companies/otus/articles/1088876/?utm_campaign=1088876&utm_source=habrahabr&utm_medium=rss