Переобучение и обобщение в машинном обучении

Для кого эта подборка

Материалы подойдут после знакомства с регрессией, функцией потерь, обучающей выборкой и градиентным спуском. Для доказательств пригодятся теория вероятностей и математический анализ.

Если времени мало, выбирайте статью по типу модели, с которой работаете. Чтение всех шести по порядку не обязательно.

Выберите вопрос

• Переобучение многопараметрической регрессии — работа №1 о векторных обобщённых линейных моделях.
• Как измерять зависимость модели от обучающих данных — №2.
• Перенос трансформера на более длинные последовательности — №3.
• Как устроены представления после контрастивного обучения — №4.
• Выбор перезапусков при стохастической оптимизации — №5.
• Что ограничивает обучение на предпочтениях DPO — №6.

Как извлечь пользу из теоретической статьи

Сначала найдите постановку задачи и основной результат, затем прочитайте, к каким моделям и данным он относится. Например, переход к более длинной строке и переход к новой строке прежней длины — разные проверки трансформера.

В заметке сформулируйте одно предсказание, которое можно проверить в собственном эксперименте: заменить длину последовательностей, увеличить число параметров или изменить структуру предпочтений. После этого возвращайтесь к доказательству нужного утверждения.

Английские термины для поиска

generalization

качество работы модели на новых данных

DPO

обучение модели по сравнительным предпочтениям ответов

Частые вопросы