Математические методы для задач машинного обучения

Как пользоваться подборкой

Вам понадобятся линейная алгебра, производные, основы вероятностей и знакомство с обучением моделей. Начните со статьи, которая отвечает на задачу вашего проекта.

Проксимальный шаг полезен для некоторых негладких задач, гауссовский процесс — для выбора следующего дорогостоящего эксперимента, а теорема обобщения — для анализа переноса на новые данные.

Найдите свой вопрос

• Есть негладкая целевая функция и несколько ограничений — переключающийся проксимальный метод в №1.
• Нужно сравнить способы обновления матричных весов нейросети — Muon и SAM в №2.
• Не знаете, когда перезапускать стохастическую оптимизацию — №3.
• Изучаете, какие параметры меняет обучение по предпочтениям, — анализ DPO в №4.
• Нужно распределять общий ограниченный ресурс между вариантами — гауссовские процессы в №5.
• Нужен теоретический язык для ошибки на новых данных — №6.

Что сопоставить с собственным экспериментом

Составьте таблицу: какие операции требует метод, сколько раз вычисляет градиент, какие ограничения на данные и функцию использует, с чем сравнивается. Для дорогого обучения стоимость одного шага бывает важнее числа итераций.

После этого выберите один проверяемый вопрос: например, окупается ли дополнительное вычисление градиента или помогает ли модель сходства реже пробовать неудачные конфигурации.

Английские термины для поиска

proximal gradient

метод, сочетающий градиентный шаг с учётом негладкой части задачи

Gaussian process

вероятностная модель зависимости между значениями неизвестной функции

Частые вопросы