ИИ-алгоритм победил одного из лучших в мире игроков в Dota 2

12th August 2017, Николай Хижняк 62

Шахматы и го – это были лишь цветочки. Теперь компьютер победил человека в самой популярной дисциплине среди молодежи – в Dota 2. Да не просто абы кого, а одного из лучших профессиональных игроков в мире, украинца Даниила «Dendi» Ишутина. На сцене турнира The International, флагманского ежегодного мероприятия компании Valve с призовым фондом в 24 миллиона долларов, собирающего только лучшие команды мира по игре в Dota 2, ИИ-алгоритм OpenAI показал, кто на самом деле «лучший мидер в мире».

Напомним, что OpenAI является некоммерческой организацией с уставным капиталом в 1 миллиард долларов, занимающейся исследованиями искусственного интеллекта и возглавляемой среди прочих исполнительным директором Tesla Motors и SpaceX Илоном Маском.

В первом матче игры 1 на 1 боту потребовалось около 10 минут, чтобы разбить «Dendi». Во второй игре профессиональный киберспортсмен проиграл еще быстрее. Третий матч играть отказался.


Посмотреть игру можно ниже.

«Пожалуйста, хватит меня унижать», — в какой-то момент заявил Ишутин, заработавший за свою карьеру профессионального игрока более 735 тысяч долларов призовых.

После матча Даниил прокомментировал:

«Вообще-то, если честно, грустновато. Приехал на International посражаться один на один и проиграл боту. Грустно».

По мнению «Dendi», победить алгоритм можно, но для этого нужно играть очень внимательно.

«Я думаю, это реально. Просто нужно играть очень чисто. Нужно знать, что делать, потому что один на один отличается от 5 х 5 очень сильно во всех отношениях».

Илон Маск не преминул возможностью рассказать о достижении OpenAI через свою страничку в «Твиттере», отметив, что бот «впервые смог победить лучших в мире профессиональных киберспортсменов».

На видео ниже технический директор OpenAI Грег Брокман объясняет, что бот компании сыграл больше матчей, чем любой дрогой профессиональный игрок в Dota 2, наиграв «тысячу жизней» против самого себя под чутким руководством компании. Брокман также отметил, что бот до этого уже победил несколько профессиональных игроков Dota 2.

«За последнюю неделю наш бот одержал победу против многих самых лучших игроков, включая SumaiL’а (лучший про-игрок в мире в формате 1 на 1) и Arteezy (лучший среди всех игроков Dota 2)», — написал Брокман в своем блоге.

Особенность «игры самим с собой» явилась ключом к превосходству бота OpenAI, рассказал Брокман в интервью Business Insider вскоре после прошедшего матча. Это очень удобный способ обучить бота еще более сложным и комплексным задачам. Он ничему не научится, если будет играть против более слабого или гораздо более сильного соперника. Но играя с самим собой, он всегда выступает против достойного соперника, отметил Брокман.

«Вы становитесь свидетелем того, как ИИ постепенно приходит к выигрышной тактике».

Это далеко не первый случай, когда компании, занимающиеся разработкой искусственного интеллекта, оттачивают навыки своих протеже с помощью видеоигр. Тот же ИИ DeepMind компании Google преуспел в популярной стратегии StarCraft 2, а команда Microsoft AI добилась очень высоких результатов в Ms. Pac-Man. Тем не менее OpenAI не собирается останавливаться на достигнутом. Организация надеется, что сможет подготовить своего бота для игры в более популярный формат Dota 2, где сражаются команды 5 на 5.

«С «Дотой» мы еще не закончили», — заявил Брокман изданию Business Insider.

Он также отметил, что OpenAI займется совершенствованием бота и в других играх. Принцип «игры с самим собой» можно применять практически в любой дисциплине. Будет очень интересно понаблюдать за тем, как тот же бот сможет обучаться, находясь в разных условиях.

«Мы делаем свою работу не просто для того, чтобы опубликовать очередной отчет или статью. Мы занимаемся этим, чтобы создать настоящую работающую систему, способную сделать то, что не было возможно до этого».

62 комментария Оставить свой

  1. BEBEL

    Уделал-таки задрота :)

  2. werter

    И это, саратники наполняет нас всех невыразимым бла-бла-блаженством.©

  3. APXOHT

    Разве второй раз он не выиграл на видео?

    • Intersteller

      APXOHT, Второй раз Dendi играл с верхней стороны

  4. resurrected

    Так с чем он работает, с образами, или игровыми объектами через API ?

  5. SeraphM

    Это был лишь вопрос времени. Смешно сравнивать, машину, которую можно совершенствовать, и человек, чей лимит заложен на генетическом уровне.
    Но ещё не вечер, мы тоже так сможем, когда нибудь:) Но сложно сказать, можно ли будет классифицировать тот вид как "мы"...

  6. storm X

    я своему другану-долтеру рассказал, он фанат Дэнди этого...не поверил -велел привести пруфы...сижу, репощу ему запись

  7. chssmstr

    Это​ прекрасно. Скоро роботы смогут обыграть любого спортсмена (футбол, баскетбол, хоккей...), что лишний раз докажет бесполезно то спорта как такового.
    Жду когда ИИ заменит веб-дизайнеров+программистов и будет предлагать рабочие решения за 5 секунд)

    • Uriel

      chssmstr, Это не будут рабочие решения, это будут штамповки шаблонные. Кстати сделанные из наработок людей. Думаю, что это все же произойдет но в тоже время появится понятие "человечности" и "души" в мире дизайна. Как не крути а человек всегда будет на шаг впереди.

      • roma1141

        Uriel, А тут не согласен, штамповки скорее всего будут неотличимы

      • SeraphM

        Uriel, Человечности и душе можно научить... Как узко и наивно вы мыслите.

        • Uriel

          SeraphM, То, чему можно научить машину теряет человечность и душу. Вы вообще не сыслите

          • resurrected

            Uriel, Упоротая догма.
            А если вы учите не машину а другого человека, то он что типа теряет человечность и душу? Информация при обучении передаётся идентичная в обоих случаях, но у вас почему то когда передаётся человеку то человечность и душа не теряются, а когда машине то они теряются. Так что сами вы ничего не "сыслите".

      • Berserk2142

        Uriel, Не могу с вами согласиться.Даже на текущий момент нейросети достигли уже очень впечатляющих результатов.
        Послушайте записи созданные нейросетью яндекса, лично у меня сложилось впечатление что они оживили Летова.
        Тоже самое про картины созданные нейросетями, я не вижу разницы между творениями людей и машины,что это как не проявление души и человечности?

    • roma1141

      chssmstr, Это будущее - согласен на 100% особенно с веб дизайнерами!

    • roma1141

      chssmstr, И 110 % про спорт

      • ERMAK53

        roma1141, в смысле бесполезность спорта? ты сам хоть понимаешь что ты говоришь? посмотри фильм "валли" где на корабле от лени все настолько ожирели что не могли ходить самостоятельно, ты бы побегал сам-то ради бесполезности пару км, почувствовал бы себя живущим, а не доживающим

        • resurrected

          ERMAK53, Он наверное про профессиональный спорт. А так да, для поддержания здоровья физическая нагрузка хотя бы минимальная необходима.

          • amd212

            resurrected, В профессиональный спорте люди калечат себя ради денег. Жестоко, но зрелищно. Мы же за это платим?
            Вряд-ли роботы будут для нас настолько же притягательны что и люди, разве что высококачественные андроиды :-)

            • Berserk2142

              amd212, В начале 2000х помню было шоу про бои роботов,я тогда не мог оторваться от экрана)
              Конечно на текущем уровне техники это всё очень примитивно, но если смотреть дальше то как яркий пример фильм "Живая Сталь"

      • bilif

        roma1141, Сильно сомневаюсь что в спорте все будет так быстро. Есть еще "физика", "железо". Шарниры, приводы, датчики. И еще большой вопрос - энергетика. Роботы вот только сейчас "научились" более-менее сносно ходить/бегать/прыгать. И это при том, что первые "ходоки" появились сто лет назад! Сделать настоящего многоборца будет намного сложнее, чем сделать "мозги" заточенные на одну единственную задачку.

  8. roma1141

    И ещё заменить программиста и инженера коими я являюсь думаю немного времени осталось нам, но я не против

    • amd212

      roma1141, Лет 500 думаю протянем.

      • SeraphM

        amd212, Оптимист:) Но возможно, появится профессия, предшественником которой было программирование, так что не все так плохо.

        • amd212

          SeraphM, Современные ИИ в своей экспертной системе используют неформализованный опыт игроков, пользователей, ... ЛЮДЕЙ.
          Т.е. миллионы миллиарды наших человеческих действий приводят к нахождению некоего среднего рефлексивного шаблона поведения ИИ.
          Заморозь его "базу знаний" на год и уже через год он начнёт сливать партии в Доту-3 всем игрокам подряд. Потребуются люди-специалисты и записи игр за прошедший год что бы подтянуть ИИ до нового уровня.
          ИИ это человеческая игрушка. Кукла которую иногда включают и показывают гостям. :-)

          • x44

            amd212, Ничего подобного, например небыло никакой экспертной помощи когда ии сам учился играть в го, и ии изобрел новые стратегии которые не один человек не знал... как люди могли уго научить тому чего они не знают? Вы вообще знаете теорию нейронных сетей или хоть раз сами тренировали нейронку чтобы такое писать.. у меня знакомый научил ии диагностировать меланому лучше чем врачи... как можно научить ии тому чего врачи не знают? И кстати этот мой знакомый вообще не врач. Вы не разбираетесь в вопросе и путаете людей.

            • Lazer

              x44, Спасибо, что не дали в его бред поверить другим пользователям.

              • Nori

                Lazer, Каким бы сильным AlphaGo ни показал себя при выполнении поставленной перед ним задачи, на самом деле он не способен ни на что другое. Более того, он настроен таким образом, что может играть в го только на стандартном поле 19 x 19. На вопрос о том, что случилось бы, поменяй организаторы соревнования размер доски го и увеличив ее до 29 x 29 клеток, команда AlphaGo призналась ему, что даже легкое изменение игрового поля привело бы к тому, что «нам настал конец».

                https://hi-news.ru/technology/iskusstvennyj-intellekt-daleko-ne-takoj-umnyj-kakim-vy-i-ilon-mask-ego-schitaete.html

                • amd212

                  Nori, X44 - первый вариант AlphaGo был создан также как и Deep Blue на базе анализа человеческих партий и только потом, играя сам с собой миллионы партий, он саморазвился до победного случая. Просто дать ИИ прочитать книжечку правил игры и сказать "Вперёд - порви их всех!" пока не получается.

                  • resurrected

                    amd212, Потому что знание одних правил для победы не достаточно. Нужна классификация разных стадий и вариантов развития игры, с последующим приминением этой всё разрастающей классификации к новым партиям. Для этого и нужна игра с самим собой или с соперником.

                    • x44

                      resurrected, Согласен

                    • amd212

                      resurrected, Resurrescted
                      Поясню. Давай рассмотрим шахматы. Вот у меня ИИ с голенькой нейронной сеткой, заложены фигуры, правила хода, понятие победы, начальная позиция. Два ИИ играют друг с другом самую первую партию собираясь самостоятельно натаскаться и стать гуру.
                      Первый ход ? Пусть рэндом генератор выбрал одну из 10 фигур (8 пешек, два коня). противник ответил тем же. Уже получаем 10х10 комбинаций которые предстоит все опробовать и протестировать. Второй ход в партии 10х10х10х10 Т.е. пока прёт просто степенная зависимость даже не факториал. Третий ход - 10х10х10х10х12х12 - открылись ходы для доп фигур (офицеры, короли, королевы). Т.е. проблема первая - ИИ не хватит вычислительных мощностей натаскать друг-друга с нуля.
                      Дальше. Допустим алгоритмы двух ИИ идентичны и они работают симметрично. Т.е. в какой-то момент ИИ-1 выигрывает на своём ходу у ИИ-2. Теперь ИИ-2 получив "слепок знаний" с нейросетки от ИИ-1 ходит первым и применив найденный вариант опять выигрывает. система зацикливается. Я прихожу на утро на работу и вижу что за миллион последних игр нейросеть не изменилась, наступило насыщение. Решив что всё победа, я выпускаю ИИ против человека тот делает пару первых ходов и человек удивлённо восклицает "Да он детский мат решил мне поставить!". Т.е. нужно постояннок вмешательство человека для оценки готов ИИ база знаний или нет и если нет, то что надо сделать чтобы сдвинуть процесс обучения дальше.
                      С ГО многообразие выбора хода ещё выше чем в шахматах, поэтому они и застряли с имплементацией.

                      • x44

                        amd212, 1.Все работает не так. Если будет время то напишу как.
                        2. Никто не застревал с имплементацией го. Поясните вы о чем ?

                      • x44

                        amd212, Вы amd вроде неплохо соображаете, немного правда недопонимаете процесс тренировки ии, я вам ответил на пост изначально поскольку вы не правы в том что ии нельзя научить быть лучше человека без вмешательства и корректировки процесса— это не так. И особо неправы когда называли его просто игрушкой. Вы явно погорячились . Просто как интересный пример — почитайте/установите программу face2gene. При ее обучении нейронке дали фото и диагноз.. все... и она смогла диагностировать генетич. заболевания по фото лучше людей. Никакого вмешательства не было . Если не секрет, сколько вам лет ?

                      • resurrected

                        amd212, AMD212
                        Нейросеть не занимаеться полным перебором вариантов, а как я уже говорил выбирает на основе её класификаций наиболее вероятные и перспективные (частичный перебор), то есть сдесь у неё всё как и у человеков которые также не занимаются полным перебором.
                        А если два абсолютно идентичных ИИ будут играть сами с собой, то и накопленный опыт у них будет схожим, и это так и должно быть. Измените конфигурацию и настройки одного из них, и опыт будет разный. И натренированный и опытный ИИ врят-ли будет пытаться поставить детский мат, потому что это будет не выгодное для него развитие фигур, в случае если соперник попадётся опытный.

                        • amd212

                          resurrected, Resurrescted
                          Я говорил про процесс обучения предполагаемой "нейросети - пустышки". Может ли пустая девственно чистая нейросеть сама научиться играть без помощи человека? На сегодняшний момент в неё закладывают партии сыгранные людьми и формируют таким образом соединения групп нейронов между собой и между группами, веса у рёбер на этих вертексах. Если мы отказываем человеку в передаче его опыта ИИ, то каким-то образом должны натренировать ИИ чисто машинным способом (по задумке ИИ должны сами натренироваться играя друг с другом). Согласитесь, надо попробовать все возможные первые, вторые, третьи ... ходы и т.д. Напрашивается перебор, либо человеку надо садиться и крепко крепко думать, как строить сам процесс обучения ИИ.

                          Готовый ИИ это очень узкое ограниченное подмножество специализированных навыков собранной с большой группы людей. И он не сможет выйти за предел самого себя. Создай ИИ - идеального вебдевелопера, раздели мир пополам, отдай одну половину ИИ, а другую оставь человеку, и через пять лет стили разбегутся. ИИ застрянет в 2017-ом году, люди в 2022-ом наворотят такого, что и не представить нам сегодня.

                          • resurrected

                            amd212, Говорить что "ИИ застрянет в 2017-ом году, люди в 2022-ом наворотят такого" если будет играть сам с собой или с другим ИИ, это категорически неправильно. Вероятно у играющих между собой и с самим собой ИИ, будет свой неповторимый и отличный от людей стиль и опыт. И чей стиль и опыт будет лучше, ИИ или человеков, это ещё большой вопрос. И вполне возможно что аутсайдерами окажутся именно человеки а не ИИ )) И скажу что вы слишком предвзято относитесь к возможностям машинного обучения)

                            • amd212

                              resurrected, Т.е. "ИИ Windows XP" мог бы сам доразвиться до "ИИ Windows 10"?
                              Machine Learning базируется на непрерывном взаимодействии алгоритма и человека. Перестали поступать новые данные - система встала. Сказал человек "раз, два, три, апдейт на системе замри" - ИИ законсервировался.
                              Может в далёком далёком будущем и будет создан алгоритм универсального самообучающегося ИИ изначально уже навороченного настолько что и швец, и жнец, и на дуде игрец. Тогда можно и поразмыслить о чувствах, мыслях, самосознании ИИ. Пока это быстрая и удобная запрограммированная функциональность нахождения наиболее оптимальных решений в порою сложном и неформализованном потоке данных.

                            • resurrected

                              resurrected, База данных и опыт от игр сыгранных людьми формируются миллионами людьми, то есть сообщество игроков постоянно обмениваются информацией и опытом, и в этом смысле сообщество игроков является вложенной супер нейронной сетью, в отличии от классических компьютерных нейронных сетей. И не смотря на это они способны развивать свой стиль и опыт игры, отличный от таковых у людей, в основном за счет гораздо большего быстродействия, то есть ИИ способен набрать за короткий промежуток времени столько опыта - сколько люди не живут при током же опыте. Так что кремниевые игроки ещё уделают мясных игроков, в каких бы то небыло играх, это вопрос времени )

                              • amd212

                                resurrected, Да. Я с этим и не спорю. Заложи в комп миллион сыгранных людьми партий, поколдуй над алгоритмом саморазвития, наладь контроль целостности, деградации, catastrophic forgetting "базы знаний" нейронной сетки, и страви тысячи таких ИИ между собой и они доразовьются до какого-то предела ес-но. Ну или нет - тогда надо смотреть код, анализировать логи, думать, экспериментировать и напрягать команду экспертов - людей.

                                • x44

                                  amd212, Ваше главное заблуждение это то что в программу обучения входит закладывание партий сыгранных людьми— это не так.

                  • x44

                    amd212, Согласен с resurrected. Есть ли человек который может прочитать правил любой игры и сыграть после этого достойно? Нет , все постигается через практику и поиск, исследование... к тому же, не все ли равно как ии достигает успехов если человечество надеяться получить.от него пользу.. вот игроки го уже получили пользу- им были полезны новые стратегии о которых они незнали

                    • amd212

                      x44, Во первых признаём, что ИИ как бы уже и не всесилен?
                      Ну и человек с нуля уже через 20 партий начнёт сносно играть, а ИИ играя сам с собой и через миллион игр будет ещё обкатывать стратегию лучшего первого хода через вероятностный выбор, балк сёч - перебор по нашему

                      • x44

                        amd212, Все бы хорошо вот только человеку с нуля до сносной игры необходимо... около 8 лет. Пять лет в среднем чтобы прокачать свой мозг до того чтобы он смог хотябы понять правила. О и да пока он их запомнит пройдет т как минимум день... ох человек так слаб.. тото ии за 2 недели в доту научился лучше всех жалких людишек =)))) вообще я к тому что ребенок ничего не может... и все что взрослый человек может (научиться играть за 20 партий) исходит из того что он натрнировал свой мозг на то чтобы быть способным это сделать( быть способным научится за 20 партий). Когда мы сделаем такую нейросеть которая сможет ставить задачи, учиться как учиться и тп мы получим ИИ, а сейчас у нас голые нейронки которые делают вещи лучше людей и это не игрушка , а крутой инструмент.

                      • superuserkew

                        amd212, Думаю вы правы, алгоритм это просто инструкция но не способность самосознания, это просто очередной тупой инструмент для людей.

                • x44

                  Nori, Я этого и не утверждал, поэтому это и не искусственный интеллект, но с узкой задачей нейронные сети справляются лучше человека. Я думаю что человек который всю жизнь играл на 19х19 тоже будет тупить на другой доске, хотя альфаго, наверно будет тупить больше. С другой стороны я уверен что можно создать альфаго2.0 который сможет играть на любых досках..
                  Подумайте, мозг очень схож с комп. нейронными сетями , только у мозга своя нейросеть для каждой задачи и он может создавать новые. Современные комп. нейросети узкоспециализированны , но это не значит что нельзя создать большую нейросеть которая способна создавать узкоспециализированные нейросети и получить чтото вроде ии. И надо ли? Чтобы дать пользу человечеству подойдут и узкоспец. нейросети.

    • bari

      roma1141, Программист, да ещё и целый инженер.....
      Только безграмотный.

  9. mixac04

    С каких это пор Артур Arteesy Лучший среди всех игроков Дота 2

    • Николай Хижняк

      mixac04, Вам лучше этот вопрос адресовать организаторам, но никак не мне :)

      • mixac04

        Николай, Это как сказать, что Неймар - лучший футболист на планете...Понимаю, вы не виноваты.

        • Vladimir8

          mixac04, Да какая разница. Самый сильный или один из сильнейших, потому что бот в любом случае научится и будет лучше. Компьютер в отличии от человека никогда не ошибается. Машинное обучение страшная вещь. Единственное что сдерживает так это как писал AMD212 так это новые стратегии. Хотя компьютер играя сам против себя может и новые выработать тупым перебором (что он сейчас и делает) Пока не может но с ростом ИИ станет возможным.

  10. ben596

    Просто, хотел бы сказать, что в данном случае игра была сильно упрощена. Они играли 1 на 1 при этом соблюдая некоторые незначительные, но все же, условия. Сама дота намного более комплексная игра 5 на 5. В любом случае, это впечатляет и OpenAI к следующему году обещает, что боты победят игроков в игре 5v5, тогда я буду под большим впечатлением.

    • x44

      ben596, Я буду под впечатлением если ии в старик победит!

      • mixac04

        x44, Уже победил...Внимательней читай

  11. botan

    Не плохой алгоритм

  12. uran

    ИИ только играть может?

    • resurrected

      uran, ИИ классифицировать данные может, а будет эта классификация игрой или чем-то другим это уже не важно.

  13. x44

    Ваше главное заблуждение это то что в программу обучения входит закладывание партий сыгранных людьми— это не так.

  14. Zarb

    Просто он - рак! ;)

  15. Viacheslav

    А чем этот бот отличается от обычных ботов в Доте? Если запрограммировать обычного бота,только очень очень сложного, т.е. играющего почти идеально, он тоже выиграет у человека.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.