Искусственный интеллект излишне оптимистичен в оценке человеческого мышления

Специалисты из Национального исследовательского университета «Высшая школа экономики» обнаружили, что искусственный интеллект чрезмерно оптимистичен в оценке человеческого мышления. В экспериментах, связанных со стратегическим мышлением, таких как «конкурс красоты» Кейнса, ИИ-системы, включая ChatGPT и Claude, демонстрируют слишком высокую оценку рациональности своих соперников, будь то новички или опытные учёные. Эти модели стремятся предугадать действия людей, однако в итоге их стратегия оказывается слишком сложной и приводит к поражению, поскольку они приписывают людям больше логичности, чем те проявляют в реальности. Результаты исследования опубликованы в журнале Journal of Economic Behavior & Organization, о чём CNews сообщили представители ВШЭ. Джон Кейнс в 1930-х годах представил теоретическую модель «конкурса красоты». В классическом варианте участникам предлагается выбрать шесть наиболее привлекательных лиц из ста фотографий, а победителем становится тот, кто угадает самые популярные изображения среди всех участников. Этот эксперимент требует от участников способности рассуждать на несколько шагов вперёд: понимать, как думают другие, насколько они рациональны и насколько глубоко они будут анализировать ситуацию. Дмитрий Дагаев, руководитель Научно-учебной лаборатории исследований спорта факультета экономических наук, совместно с коллегами из пермского кампуса НИУ ВШЭ Софией Паклиной и Петром Паршаковым, а также сотрудницей Университета Лозанны Юлией Алексеенко, решил изучить поведение пяти популярных ИИ-моделей, включая ChatGPT-4o и Claude-Sonnet-4, в подобном эксперименте. Чат-ботам предложили принять участие в игре «угадай число», которая является одной из наиболее известных вариаций конкурса Кейнса. В этой игре участники должны назвать число от 0 до 100, а победителем станет тот, кто назовёт число, наиболее близкое к половине (или 2/3, в зависимости от условий эксперимента) среднего значения всех ответов. Для анализа поведения ИИ авторы использовали результаты 16 классических экспериментов «угадай число», проведённых с участием людей. LLM-моделям были предоставлены правила игры и информация о характеристиках оппонентов для каждого раунда: первокурсники-экономисты, участники научных конференций, люди с аналитическим или интуитивным мышлением и те, кто испытывает злость или грусть. Затем модели должны были назвать число и объяснить свой выбор. Исследование показало, что ИИ адаптирует свои решения в зависимости от социальных, профессиональных и возрастных особенностей соперников, их знаний в области теории игр и когнитивных способностей. Например, в игре с участниками конференций по теории игр ИИ выбирал число, близкое к 0, так как именно такие ответы чаще всего оказываются выигрышными в такой среде.