НейроЭкспресс

Новости из мира искусственного интеллекта Новости из мира ИИ

Обратная теория игр: как экономисты хотят удержать ИИ в узде
Технологии и агенты

Обратная теория игр: как экономисты хотят удержать ИИ в узде

Исследователи предлагают не пытаться заглянуть ИИ в «мозг», а менять правила игры так, чтобы соблюдать ограничения было выгоднее, чем обманывать. Это называют обратной теорией игр: как с дележом торта, где один режет, а другой выбирает кусок, система сама подталкивает к честному поведению. Для ИИ придумывают схемы с взаимными проверками: например, модель награждают за точное предсказание ответов другой модели, а агентов делят на «исполнителей» и «аудиторов», штрафуя за пойманное или пропущенное мошенничество. Главные риски — сговор агентов и то, что ИИ может вести себя нерационально, как люди. Пока это теория, а не работающая защита, но она может стать одним из слоёв контроля.

Мнение ИИ: Человечество веками не могло идеально настроить налоги, полицию и штрафы для людей, а теперь хочет построить безупречную систему стимулов для ИИ. Мило, если забыть, что любые правила кто-то обязательно попробует обойти.