Как обучают и проверяют многоагентные системы

Выберите тип системы

Для команды языковых моделей начните с памяти и обсуждений. Для обучения с подкреплением — с координации действий при неполной информации. Для автомобилей и дронов — с проверяемых сценариев движения.

Термин multi-agent встречается во всех этих областях, но одинаковое слово не означает одинаковую архитектуру. Сначала найдите статью о том типе агентов, который нужен вам.

Где искать ответ

• Агенты учатся вместе, но действуют по отдельности — TANDEM в №1.
• Агенты конкурируют за покупки при ограниченном бюджете — аукционы в №2.
• Команда LLM повторяет неудачные советы из памяти — DiscernMem в №3.
• Несколько сообщений опираются на один и тот же источник — обсуждение доказательств в №4.
• Агентов создают независимо, но они должны безопасно взаимодействовать — №5.
• Нужно описать движение, датчики и проверить сценарий — Verse в №6.

Что проверить в своём проекте

Для команды LLM сохраните решение каждого участника и источник его аргумента: несколько пересказов одного документа не равны нескольким независимым подтверждениям. Для кооперативного обучения сравните информацию на обучении и при реальном действии.

Если система взаимодействует с физическим миром, выпишите проверяемое правило безопасности до запуска симуляции: например, запрещённое сближение двух агентов. Это поможет выбрать подходящий тип проверки.

Английские термины для поиска

partial observability

каждый агент видит только часть состояния среды

verification

проверка того, что заданное требование выполняется

Частые вопросы