наукоследОпределите, какой этап вы улучшаете
- chunking — разбиение документа на фрагменты; важно, сохраняются ли заголовки, таблицы и связанные абзацы.
- dense retrieval — поиск по векторным представлениям текста; hybrid retrieval сочетает разные способы поиска.
- reranking — повторное упорядочивание найденных фрагментов перед передачей модели.
- faithfulness — соответствие ответа предоставленным источникам.
Запросы под конкретную проблему
Если нужный документ не попадает в результаты, ищите работы о retrieval и reranking. Если документ найден, но ответ неверен, полезнее исследования генерации с опорой на контекст и оценки достоверности.
В arXiv подойдут cs.CL для языковых задач и cs.IR для информационного поиска. Эти условия вводятся в «Сложном запросе»: первое посвящено RAG, второе — повторной сортировке результатов поиска.
(cat:cs.CL AND (all:"retrieval augmented" OR all:RAG))
(cat:cs.IR AND all:reranking)Как сравнивать исследования RAG
Сначала найдите состав документов, набор вопросов и способ разметки правильных источников. Для поиска посмотрите Recall@k: как часто нужный фрагмент оказался среди первых k результатов. Для ответа отдельно оцените правильность и подтверждение ссылками.
Сравнивайте методы при одинаковом наборе документов и похожем объёме контекста. Пример вопроса с найденными фрагментами часто лучше показывает причину ошибки, чем одна итоговая оценка. Оригинальная работа о RAG доступна по ссылке ниже.
Получайте новые работы по выбранному этапу
В боте откройте «Добавить тему» → arXiv → «Ключевую фразу» и отправьте retrieval augmented generation или dense retrieval. После ответа «Добавлено» откройте «Последние работы» для этой подписки. Для запроса с рубрикой выберите «Сложный запрос» и вставьте одну строку из примеров выше.
Английские термины для поиска
- chunking
- разбиение документов на фрагменты
- reranking
- переранжирование результатов поиска
- Recall@k
- доля случаев, когда нужный материал найден среди первых k результатов
Готовые примеры для бота
(cat:cs.CL AND (all:"retrieval augmented" OR all:RAG))all:"dense retrieval"Нажмите «Настроить подписку в Telegram», выберите подходящий пример и подтвердите его в боте.
Частые вопросы
Как искать статьи именно об оценке поиска, а не всей системы RAG?
Попробуйте dense retrieval evaluation или information retrieval вместе с Recall. В статье ищите отдельные результаты поиска: ответы модели могут скрывать, какой документ был найден.