Специалисты по компьютерным технологиям из DeepMind разработали искусственно созданного бота, способного победить лучших игроков мира в популярной стратегической видеоигре в реальном времени StarCraft II.
Новое исследование, опубликованное сегодня в Nature, описывает первого искусственно интеллектуального агента AlphaStar, способного играть в StarCraft II на уровне гроссмейстера. Это, очевидно, большая проблема для сообщества StarCraft II, но знание системы представляет собой важное достижение для исследователей искусственного интеллекта, так как аналогичные подходы могут быть применены в реальном мире для решения сложных проблем или для расширения возможностей машинного интеллекта.
StarCraft II привлек интерес исследователей ИИ благодаря своему сложному и открытому игровому процессу. В отличие от шахмат и го, игроки имеют несовершенную информацию о том, что происходит, что делает ее похожей на покер в этом отношении. Игра также включает в себя огромное пространство для принятия решений, поскольку на каждом временном шаге игрокам доступно свыше 10 26 возможных действий. Игроки могут вызвать тысячи действий до того, как игра будет выиграна или проиграна.
StarCraft II также включает в себя теоретико-игровые сценарии, долгосрочное планирование, а также проблему, связанную с геймплеем в реальном времени. Таким образом, игра считается «большим вызовом» среди исследователей ИИ. Чтобы победить, игроки стремятся собирать ресурсы, которые они используют для создания баз и структур, разрабатывать новые мощные технологии, чтобы победить своего противника. Игра не пошаговая и разворачивается в реальном времени. Большая часть карты скрыта для игроков, поэтому они должны следить за ходами противника и соответствующим образом корректировать свои стратегии. Игры обычно длятся от 5 до 20 минут, но иногда такие матчи длятся час или более.
Отчасти это объясняется тем, что исторически сложилось так, что агентам ИИ не удавалось сравнивать лучших игроков, даже если игра упрощена. Чтобы окончательно создать систему, способную играть на высоком уровне, ученый-компьютерщик Ориол Виньялс и его коллеги из DeepMind подготовили нейронную сеть с универсальными алгоритмами обучения, а именно комбинацией обучения имитации и обучения с подкреплением.
Имитационное обучение — это именно то, как оно звучит, в котором ИИ учится, имитируя человеческий игровой процесс. Одна только эта стратегия позволила AlphaStar играть лучше, чем 84 процента игроков StarCraft II. Усиленное обучение работает, мотивируя систему для умелого достижения поставленной цели. Получая или теряя очки, система принимает эффективные стратегии или политики для достижения этой цели.
В рамках своего обучения AlphaStar постоянно играла сама для того, чтобы еще больше улучшить свое игровое мастерство и разработать еще лучшие стратегии и контрстратегии.
На ранних испытаниях системы в декабре 2018 года исследователи DeepMind сравнили AlphaStar с двумя игроками мирового класса, Гжегожем «MaNa» Коминцем и Дарио «TLO» Вюншем из Team Liquid, оба из которых были легко побеждены.
Однако главной задачей для AlphaStar было получить статус гроссмейстера, играя в стандартных профессиональных условиях турнира. В частности, система должна была просматривать мир StarCraft II через камеру, соревноваться как любой из трех инопланетных видов на высоком уровне, использовать те же карты, что и люди-люди, применять скорость действий, сопоставимую с игровым процессом человека (скорость, утвержденная Wünsch), и играть на игровом сервере Battle.net, среди других условий.
В этих условиях AlphaStar все же удалось сыграть на высоком уровне, получив звание гроссмейстера для всех трех инопланетных видов StarCraft. Это первый раз, когда ИИ достиг этого уровня в профессионально играемом киберспорте, и он сделал это без каких-либо предыдущих ограничений, таких как работа в упрощенной версии игры.
