Статьи по обучению с подкреплением

Различайте постановки задачи

• online reinforcement learning — агент собирает опыт во взаимодействии со средой.
• offline reinforcement learning — обучение на заранее собранных последовательностях действий и результатов.
• model based reinforcement learning — выбор действий с использованием модели последствий.
• policy optimization — настройка стратегии выбора действий.

Выберите запрос по доступным данным

Для исследований методов начните с cs.LG и stat.ML; для управления роботом полезен также cs.RO. Поиск reinforcement learning охватывает игры, управление и языковые модели, поэтому добавьте название своей среды или подхода.

Первый пример для «Сложного запроса» arXiv посвящён обучению на готовых данных, второй — методам с моделью среды.

(cat:cs.LG AND all:"offline reinforcement learning")
(all:"model based" AND all:"reinforcement learning")

Что выписать из эксперимента

Найдите среду, описание наблюдений, действий и награды. Уточните, измеряется ли результат числом взаимодействий, временем расчёта или итоговым успехом. Высокая награда имеет смысл только вместе с её определением: штраф за столкновение и бонус за скорость могут по-разному менять поведение.

Посмотрите, сколько запусков провели авторы и как показан разброс результатов. Для знакомства с циклом «наблюдение → действие → награда» подойдут примеры среды CartPole в руководстве Gymnasium.

Как подписаться на нужное направление

Откройте в боте «Добавить тему» → arXiv → «Ключевую фразу» и отправьте offline reinforcement learning или model based reinforcement learning. Бот ответит «Добавлено». В «Последних работах» выберите эту подписку: если попали неподходящие задачи, уточните запрос названием среды через «Сложный запрос».

Английские термины для поиска

reward

награда за действие или результат

policy

стратегия выбора действий

offline reinforcement learning

обучение с подкреплением на готовых данных

Частые вопросы