Open AI Neurohive

Боты OpenAI проиграли на The International 2018

29 августа 2018

Боты OpenAI проиграли на The International 2018

Команда ботов OpenAI Five сыграла с профессиональными игроками на The International 2018 — чемпионате мира по Dota 2. В матчах были установлены ограничения в выборе героев и артефактов для всех…

Раньше OpenAI Five удавалось победить полупрофессионалов и топ-игроков Dota 2. В этот раз против ИИ выступили две команды. Первый шоу—матч с бразильской командой paiN Gaming продлился 51 минуту. PaiN входят в топ—18 мирового рейтинга. Им удалось победить ботов со счетом 45:41 и перевесом в 20 000 золота. Во второй игре с ботами сражалась команда лучших китайских игроков; они победили OpenAI за 45 минут.

В блоге OpenAI написали, что у ботов были хорошие шансы на победу в первые 20—35 минут каждой игры. Проводились быстрые командные атаки. Однако, ИИ имеет проблемы с долгосрочными просчётами. Как отмечает разработчик OpenAI Five Съюзан Чжан, боты способны просчитать действия всего на 14 минут вперёд. Кроме того, они медленно реагируют на неожиданные ситуации, которые не встречались во время тренировок.

Технический директор OpenAI Грег Брокман опубликовал в твиттере график с развитием Open AI Five. В мае 2018 команда была на уровне программистов Open AI, а уже к августу выступила против профессиональных игроков.

В планах разработчиков продолжать тренировки, снижать количество ограничений и багов.

OpenAI запрограммировал нейросеть на любопытство

27 августа 2018

OpenAI запрограммировал нейросеть на любопытство

Учёные из OpenAI и Университета Беркли предложили способ обучения c подкреплением для прохождения игр, наделив нейросеть любопытством. Метод протестировали на 54 средах — аркадах и лабиринтах; в Super Mario Bros искусственный интеллект прошёл 10 уровней без внешнего вознаграждения. Разработчики считают, что любопытство вместо запрограммированной награды поможет роботам принимать решения автономно.

Под любопытством подразумевается внутренняя функция, которая использует ошибку предсказания в качестве вознаграждения. ИИ предсказывает следующий кадр, и лучшим результатом считается тот, который не совпадает с прогнозом.

Алгоритм научился играть в игры без подкрепления, исходя только из любопытства.

Ограничения модели

В ходе экспериментов проявились и недостатки подхода: Game Over тоже воспринимался ИИ как новое впечатление, поэтому иногда он сознательно действовал так, чтобы проиграть.

Команда также провела эксперимент с телевизором, поместив сцену с быстро меняющимися кадрами в лабиринт. Найдя её, ИИ не двигался дальше, потому что научился генерировать новые случайные кадры, и это оказалось самым интересным занятием для «любопытного» алгоритма.

Исходный код проекта доступен на GitHub.

OpenAI — некоммерческая исследовательская компания Илона Маска, которая занимается изучением и разработкой искусственного интеллекта.

OpenAI Five играет в Dota 2 лучше, чем 99,9% людей

6 августа 2018

OpenAI Five играет в Dota 2 лучше, чем 99,9% людей

OpenAI продолжает совершенствовать свою команду ботов для игры в Dota 2. Теперь нейросети победили топ-игроков, которые находятся в 99,95% рейтинга, в двух играх из трёх. OpenAI Five проиграла только в матче,…

Раньше OpenAI Five уже побеждала игроков один на один и любительскую команду полупрофессионалов. Сегодня ИИ обучается со скоростью 180 лет игры за один день. Это позволило OpenAI приобрести нужный опыт для участия в матче с игроками с 6,5k MMR.

В прошлых играх алгоритм выбирал персонажей для команды случайным образом, а теперь научился использовать драфт для 18 героев. Искусственный интеллект оценивает вероятность победы того или иного персонажа, анализируя информацию о сыгранных матчах. В первых двух картах ИИ оценил шанс на победу в 80%, а в последнем матче, где героев выбирали зрители — в 3%.

Боты умеют доминировать на одной линии, использовать разные стратегии, сплит-пушить. Кроме того, OpenAI Five имеют очень высокую скорость реакции. Однако, они еще испытывают трудности в поздней стадии игры, не умеют придумывать сборки, и используют некоторые функции не по назначению. Но эти недостатки можно будет компенсировать игровым опытом.

Следующая цель компании OpenAI ускорить процесс тренировки в полтора раза и победить команду профессиональных игроков на The International.

Open AI научили роборуку движениям без участия человека

31 июля 2018

Open AI научили роборуку движениям без участия человека

Open AI научила роборуку манипулировать кубом с помощью искусственного интеллекта. Теперь робот может свободно перемещать объект в разных направлениях почти как человек: рука способна повернуть куб 50 раз и не уронить его. Средний результат других подобных разработок — 13 последовательных перемещений.

Для обучения ИИ управлению рукой учёные использовали метод обучения с подкреплением. Исследователи создали симуляцию, которая помогла алгоритму понять, как этот процесс происходил бы в реальном мире. Разработчики меняли размер и цвета куба, делали поверхность скользкой, изменяли силу тяжести, добавляли визуальные шумы и другие вариации, чтобы робот учился справляться с неожиданными сценариями. После обучения искусственного интеллекта на симуляторе, информацию загрузили в механизмы управления рукой. С помощью камер алгоритм понимал, что происходит с кубом и анализировал как его перемещать.

Dactyl должен был накопить 100 лет опыта, чтобы достичь максимальной производительности. Команде пришлось использовать много вычислительной мощности — 6144 CPU и восемь графических процессоров Nvidia V100.