наукоследСначала определите результат
Для разметки текста важны ошибки по отдельным категориям. Для агента — выполненная задача, затраты и работа на длинной последовательности действий. Для программных тестов — обнаружение неправильного поведения, а не только успешный запуск.
Выберите один из этих сценариев. Тогда станет понятнее, какие показатели и контрольные примеры искать в статье.
Порядок чтения
- Начните с №1: какие ошибки разметки скрываются за общими accuracy и F1.
- Затем №2: как распределить человеческую проверку и оценить помощь другой модели-судьи.
- Если сравниваете много вариантов агента, переходите к №3 о распределении вычислений на оценку.
- Длинные бизнес-задачи — AutoVend в №4; исследовательские агенты — Auto-Research Arena в №5.
- Генерация тестов по требованиям — Req2Test-Bench в №6.
Что взять в собственную проверку
Подготовьте таблицу: задача, правильный результат, типичная ошибка, ручная проверка, время и стоимость запуска. Для разметки добавьте редкие категории; для агентов сохраняйте промежуточные действия, чтобы видеть место сбоя.
Отдельно оставьте примеры, по которым не подбирали подсказки и настройки. Сравнивайте систему с простым решением той же задачи: это помогает понять, оправдывает ли сложность дополнительные расходы.
Английские термины для поиска
- LLM-as-a-judge
- оценка ответов одной языковой моделью с помощью другой
Частые вопросы
Какую работу читать для проверки автоматической разметки текстов?
Начните с №1, затем перейдите к №2 о человеческом аудите и оценке качества по части вручную проверенных ответов.