ИИ-алгоритм победил одного из лучших в мире игроков в Dota 2

12 Августа 2017 в 16:36, Николай Хижняк 11 077 просмотров 61

Шахматы и го – это были лишь цветочки. Теперь компьютер победил человека в самой популярной дисциплине среди молодежи – в Dota 2. Да не просто абы кого, а одного из лучших профессиональных игроков в мире, украинца Даниила «Dendi» Ишутина. На сцене турнира The International, флагманского ежегодного мероприятия компании Valve с призовым фондом в 24 миллиона долларов, собирающего только лучшие команды мира по игре в Dota 2, ИИ-алгоритм OpenAI показал, кто на самом деле «лучший мидер в мире».

Напомним, что OpenAI является некоммерческой организацией с уставным капиталом в 1 миллиард долларов, занимающейся исследованиями искусственного интеллекта и возглавляемой среди прочих исполнительным директором Tesla Motors и SpaceX Илоном Маском.

В первом матче игры 1 на 1 боту потребовалось около 10 минут, чтобы разбить «Dendi». Во второй игре профессиональный киберспортсмен проиграл еще быстрее. Третий матч играть отказался.

Посмотреть игру можно ниже.

«Пожалуйста, хватит меня унижать», — в какой-то момент заявил Ишутин, заработавший за свою карьеру профессионального игрока более 735 тысяч долларов призовых.

После матча Даниил прокомментировал:

«Вообще-то, если честно, грустновато. Приехал на International посражаться один на один и проиграл боту. Грустно».

По мнению «Dendi», победить алгоритм можно, но для этого нужно играть очень внимательно.

«Я думаю, это реально. Просто нужно играть очень чисто. Нужно знать, что делать, потому что один на один отличается от 5 х 5 очень сильно во всех отношениях».

Илон Маск не преминул возможностью рассказать о достижении OpenAI через свою страничку в «Твиттере», отметив, что бот «впервые смог победить лучших в мире профессиональных киберспортсменов».

На видео ниже технический директор OpenAI Грег Брокман объясняет, что бот компании сыграл больше матчей, чем любой дрогой профессиональный игрок в Dota 2, наиграв «тысячу жизней» против самого себя под чутким руководством компании. Брокман также отметил, что бот до этого уже победил несколько профессиональных игроков Dota 2.

«За последнюю неделю наш бот одержал победу против многих самых лучших игроков, включая SumaiL’а (лучший про-игрок в мире в формате 1 на 1) и Arteezy (лучший среди всех игроков Dota 2)», — написал Брокман в своем блоге.

Особенность «игры самим с собой» явилась ключом к превосходству бота OpenAI, рассказал Брокман в интервью Business Insider вскоре после прошедшего матча. Это очень удобный способ обучить бота еще более сложным и комплексным задачам. Он ничему не научится, если будет играть против более слабого или гораздо более сильного соперника. Но играя с самим собой, он всегда выступает против достойного соперника, отметил Брокман.

«Вы становитесь свидетелем того, как ИИ постепенно приходит к выигрышной тактике».

Это далеко не первый случай, когда компании, занимающиеся разработкой искусственного интеллекта, оттачивают навыки своих протеже с помощью видеоигр. Тот же ИИ DeepMind компании Google преуспел в популярной стратегии StarCraft 2, а команда Microsoft AI добилась очень высоких результатов в Ms. Pac-Man. Тем не менее OpenAI не собирается останавливаться на достигнутом. Организация надеется, что сможет подготовить своего бота для игры в более популярный формат Dota 2, где сражаются команды 5 на 5.

«С «Дотой» мы еще не закончили», — заявил Брокман изданию Business Insider.

Он также отметил, что OpenAI займется совершенствованием бота и в других играх. Принцип «игры с самим собой» можно применять практически в любой дисциплине. Будет очень интересно понаблюдать за тем, как тот же бот сможет обучаться, находясь в разных условиях.

«Мы делаем свою работу не просто для того, чтобы опубликовать очередной отчет или статью. Мы занимаемся этим, чтобы создать настоящую работающую систему, способную сделать то, что не было возможно до этого».

ИИ-алгоритм победил одного из лучших в мире игроков в Dota 2

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

61 комментарий

  1. BEBEL

    Уделал-таки задрота :)

  2. werter

    И это, саратники наполняет нас всех невыразимым бла-бла-блаженством.© (отправлено из приложения Hi-News.ru)

  3. APXOHT

    Разве второй раз он не выиграл на видео? (отправлено из приложения Hi-News.ru)

  4. resurrected

    Так с чем он работает, с образами, или игровыми объектами через API ?

  5. SeraphM

    Это был лишь вопрос времени. Смешно сравнивать, машину, которую можно совершенствовать, и человек, чей лимит заложен на генетическом уровне.
    Но ещё не вечер, мы тоже так сможем, когда нибудь:) Но сложно сказать, можно ли будет классифицировать тот вид как "мы"... (отправлено из iOS приложения Hi-News.ru)

  6. storm X

    я своему другану-долтеру рассказал, он фанат Дэнди этого...не поверил -велел привести пруфы...сижу, репощу ему запись

  7. chssmstr

    Это​ прекрасно. Скоро роботы смогут обыграть любого спортсмена (футбол, баскетбол, хоккей...), что лишний раз докажет бесполезно то спорта как такового.
    Жду когда ИИ заменит веб-дизайнеров+программистов и будет предлагать рабочие решения за 5 секунд) (отправлено из приложения Hi-News.ru)

    • Uriel

      Это не будут рабочие решения, это будут штамповки шаблонные. Кстати сделанные из наработок людей. Думаю, что это все же произойдет но в тоже время появится понятие "человечности" и "души" в мире дизайна. Как не крути а человек всегда будет на шаг впереди. (отправлено из приложения Hi-News.ru)

      • roma1141

        А тут не согласен, штамповки скорее всего будут неотличимы (отправлено из приложения Hi-News.ru)

      • SeraphM

        Человечности и душе можно научить... Как узко и наивно вы мыслите. (отправлено из iOS приложения Hi-News.ru)

        • Uriel

          То, чему можно научить машину теряет человечность и душу. Вы вообще не сыслите (отправлено из приложения Hi-News.ru)

          • resurrected

            Упоротая догма.
            А если вы учите не машину а другого человека, то он что типа теряет человечность и душу? Информация при обучении передаётся идентичная в обоих случаях, но у вас почему то когда передаётся человеку то человечность и душа не теряются, а когда машине то они теряются. Так что сами вы ничего не "сыслите".

      • Berserk2142

        Не могу с вами согласиться.Даже на текущий момент нейросети достигли уже очень впечатляющих результатов.
        Послушайте записи созданные нейросетью яндекса, лично у меня сложилось впечатление что они оживили Летова.
        Тоже самое про картины созданные нейросетями, я не вижу разницы между творениями людей и машины,что это как не проявление души и человечности?

    • roma1141

      Это будущее - согласен на 100% особенно с веб дизайнерами! (отправлено из приложения Hi-News.ru)

    • roma1141

      И 110 % про спорт (отправлено из приложения Hi-News.ru)

      • ERMAK53

        в смысле бесполезность спорта? ты сам хоть понимаешь что ты говоришь? посмотри фильм "валли" где на корабле от лени все настолько ожирели что не могли ходить самостоятельно, ты бы побегал сам-то ради бесполезности пару км, почувствовал бы себя живущим, а не доживающим

        • resurrected

          Он наверное про профессиональный спорт. А так да, для поддержания здоровья физическая нагрузка хотя бы минимальная необходима.

          • amd212

            В профессиональный спорте люди калечат себя ради денег. Жестоко, но зрелищно. Мы же за это платим?
            Вряд-ли роботы будут для нас настолько же притягательны что и люди, разве что высококачественные андроиды :-)

            • Berserk2142

              В начале 2000х помню было шоу про бои роботов,я тогда не мог оторваться от экрана)
              Конечно на текущем уровне техники это всё очень примитивно, но если смотреть дальше то как яркий пример фильм "Живая Сталь"

      • bilif

        Сильно сомневаюсь что в спорте все будет так быстро. Есть еще "физика", "железо". Шарниры, приводы, датчики. И еще большой вопрос - энергетика. Роботы вот только сейчас "научились" более-менее сносно ходить/бегать/прыгать. И это при том, что первые "ходоки" появились сто лет назад! Сделать настоящего многоборца будет намного сложнее, чем сделать "мозги" заточенные на одну единственную задачку.

  8. roma1141

    И ещё заменить программиста и инженера коими я являюсь думаю немного времени осталось нам, но я не против (отправлено из приложения Hi-News.ru)

    • amd212

      Лет 500 думаю протянем.

      • SeraphM

        Оптимист:) Но возможно, появится профессия, предшественником которой было программирование, так что не все так плохо. (отправлено из iOS приложения Hi-News.ru)

        • amd212

          Современные ИИ в своей экспертной системе используют неформализованный опыт игроков, пользователей, ... ЛЮДЕЙ.
          Т.е. миллионы миллиарды наших человеческих действий приводят к нахождению некоего среднего рефлексивного шаблона поведения ИИ.
          Заморозь его "базу знаний" на год и уже через год он начнёт сливать партии в Доту-3 всем игрокам подряд. Потребуются люди-специалисты и записи игр за прошедший год что бы подтянуть ИИ до нового уровня.
          ИИ это человеческая игрушка. Кукла которую иногда включают и показывают гостям. :-)

          • x44

            Ничего подобного, например небыло никакой экспертной помощи когда ии сам учился играть в го, и ии изобрел новые стратегии которые не один человек не знал... как люди могли уго научить тому чего они не знают? Вы вообще знаете теорию нейронных сетей или хоть раз сами тренировали нейронку чтобы такое писать.. у меня знакомый научил ии диагностировать меланому лучше чем врачи... как можно научить ии тому чего врачи не знают? И кстати этот мой знакомый вообще не врач. Вы не разбираетесь в вопросе и путаете людей. (отправлено из приложения Hi-News.ru)

            • Lazer

              Спасибо, что не дали в его бред поверить другим пользователям.

              • Nori

                Каким бы сильным AlphaGo ни показал себя при выполнении поставленной перед ним задачи, на самом деле он не способен ни на что другое. Более того, он настроен таким образом, что может играть в го только на стандартном поле 19 x 19. На вопрос о том, что случилось бы, поменяй организаторы соревнования размер доски го и увеличив ее до 29 x 29 клеток, команда AlphaGo призналась ему, что даже легкое изменение игрового поля привело бы к тому, что «нам настал конец».

                https://hi-news.ru/technology/iskusstvennyj-intellekt-daleko-ne-takoj-umnyj-kakim-vy-i-ilon-mask-ego-schitaete.html

                • amd212

                  X44 - первый вариант AlphaGo был создан также как и Deep Blue на базе анализа человеческих партий и только потом, играя сам с собой миллионы партий, он саморазвился до победного случая. Просто дать ИИ прочитать книжечку правил игры и сказать "Вперёд - порви их всех!" пока не получается.

                  • resurrected

                    Потому что знание одних правил для победы не достаточно. Нужна классификация разных стадий и вариантов развития игры, с последующим приминением этой всё разрастающей классификации к новым партиям. Для этого и нужна игра с самим собой или с соперником.

                    • x44

                      Согласен (отправлено из приложения Hi-News.ru)

                    • amd212

                      Resurrescted
                      Поясню. Давай рассмотрим шахматы. Вот у меня ИИ с голенькой нейронной сеткой, заложены фигуры, правила хода, понятие победы, начальная позиция. Два ИИ играют друг с другом самую первую партию собираясь самостоятельно натаскаться и стать гуру.
                      Первый ход ? Пусть рэндом генератор выбрал одну из 10 фигур (8 пешек, два коня). противник ответил тем же. Уже получаем 10х10 комбинаций которые предстоит все опробовать и протестировать. Второй ход в партии 10х10х10х10 Т.е. пока прёт просто степенная зависимость даже не факториал. Третий ход - 10х10х10х10х12х12 - открылись ходы для доп фигур (офицеры, короли, королевы). Т.е. проблема первая - ИИ не хватит вычислительных мощностей натаскать друг-друга с нуля.
                      Дальше. Допустим алгоритмы двух ИИ идентичны и они работают симметрично. Т.е. в какой-то момент ИИ-1 выигрывает на своём ходу у ИИ-2. Теперь ИИ-2 получив "слепок знаний" с нейросетки от ИИ-1 ходит первым и применив найденный вариант опять выигрывает. система зацикливается. Я прихожу на утро на работу и вижу что за миллион последних игр нейросеть не изменилась, наступило насыщение. Решив что всё победа, я выпускаю ИИ против человека тот делает пару первых ходов и человек удивлённо восклицает "Да он детский мат решил мне поставить!". Т.е. нужно постояннок вмешательство человека для оценки готов ИИ база знаний или нет и если нет, то что надо сделать чтобы сдвинуть процесс обучения дальше.
                      С ГО многообразие выбора хода ещё выше чем в шахматах, поэтому они и застряли с имплементацией.

                      • x44

                        1.Все работает не так. Если будет время то напишу как.
                        2. Никто не застревал с имплементацией го. Поясните вы о чем ?
                        (отправлено из приложения Hi-News.ru)

                      • x44

                        Вы amd вроде неплохо соображаете, немного правда недопонимаете процесс тренировки ии, я вам ответил на пост изначально поскольку вы не правы в том что ии нельзя научить быть лучше человека без вмешательства и корректировки процесса— это не так. И особо неправы когда называли его просто игрушкой. Вы явно погорячились . Просто как интересный пример — почитайте/установите программу face2gene. При ее обучении нейронке дали фото и диагноз.. все... и она смогла диагностировать генетич. заболевания по фото лучше людей. Никакого вмешательства не было . Если не секрет, сколько вам лет ? (отправлено из приложения Hi-News.ru)

                      • resurrected

                        AMD212
                        Нейросеть не занимаеться полным перебором вариантов, а как я уже говорил выбирает на основе её класификаций наиболее вероятные и перспективные (частичный перебор), то есть сдесь у неё всё как и у человеков которые также не занимаются полным перебором.
                        А если два абсолютно идентичных ИИ будут играть сами с собой, то и накопленный опыт у них будет схожим, и это так и должно быть. Измените конфигурацию и настройки одного из них, и опыт будет разный. И натренированный и опытный ИИ врят-ли будет пытаться поставить детский мат, потому что это будет не выгодное для него развитие фигур, в случае если соперник попадётся опытный.

                        • amd212

                          Resurrescted
                          Я говорил про процесс обучения предполагаемой "нейросети - пустышки". Может ли пустая девственно чистая нейросеть сама научиться играть без помощи человека? На сегодняшний момент в неё закладывают партии сыгранные людьми и формируют таким образом соединения групп нейронов между собой и между группами, веса у рёбер на этих вертексах. Если мы отказываем человеку в передаче его опыта ИИ, то каким-то образом должны натренировать ИИ чисто машинным способом (по задумке ИИ должны сами натренироваться играя друг с другом). Согласитесь, надо попробовать все возможные первые, вторые, третьи ... ходы и т.д. Напрашивается перебор, либо человеку надо садиться и крепко крепко думать, как строить сам процесс обучения ИИ.

                          Готовый ИИ это очень узкое ограниченное подмножество специализированных навыков собранной с большой группы людей. И он не сможет выйти за предел самого себя. Создай ИИ - идеального вебдевелопера, раздели мир пополам, отдай одну половину ИИ, а другую оставь человеку, и через пять лет стили разбегутся. ИИ застрянет в 2017-ом году, люди в 2022-ом наворотят такого, что и не представить нам сегодня.

                          • resurrected

                            Говорить что "ИИ застрянет в 2017-ом году, люди в 2022-ом наворотят такого" если будет играть сам с собой или с другим ИИ, это категорически неправильно. Вероятно у играющих между собой и с самим собой ИИ, будет свой неповторимый и отличный от людей стиль и опыт. И чей стиль и опыт будет лучше, ИИ или человеков, это ещё большой вопрос. И вполне возможно что аутсайдерами окажутся именно человеки а не ИИ )) И скажу что вы слишком предвзято относитесь к возможностям машинного обучения)

                            • amd212

                              Т.е. "ИИ Windows XP" мог бы сам доразвиться до "ИИ Windows 10"?
                              Machine Learning базируется на непрерывном взаимодействии алгоритма и человека. Перестали поступать новые данные - система встала. Сказал человек "раз, два, три, апдейт на системе замри" - ИИ законсервировался.
                              Может в далёком далёком будущем и будет создан алгоритм универсального самообучающегося ИИ изначально уже навороченного настолько что и швец, и жнец, и на дуде игрец. Тогда можно и поразмыслить о чувствах, мыслях, самосознании ИИ. Пока это быстрая и удобная запрограммированная функциональность нахождения наиболее оптимальных решений в порою сложном и неформализованном потоке данных.

                            • resurrected

                              База данных и опыт от игр сыгранных людьми формируются миллионами людьми, то есть сообщество игроков постоянно обмениваются информацией и опытом, и в этом смысле сообщество игроков является вложенной супер нейронной сетью, в отличии от классических компьютерных нейронных сетей. И не смотря на это они способны развивать свой стиль и опыт игры, отличный от таковых у людей, в основном за счет гораздо большего быстродействия, то есть ИИ способен набрать за короткий промежуток времени столько опыта - сколько люди не живут при током же опыте. Так что кремниевые игроки ещё уделают мясных игроков, в каких бы то небыло играх, это вопрос времени )

                              • amd212

                                Да. Я с этим и не спорю. Заложи в комп миллион сыгранных людьми партий, поколдуй над алгоритмом саморазвития, наладь контроль целостности, деградации, catastrophic forgetting "базы знаний" нейронной сетки, и страви тысячи таких ИИ между собой и они доразовьются до какого-то предела ес-но. Ну или нет - тогда надо смотреть код, анализировать логи, думать, экспериментировать и напрягать команду экспертов - людей.

                                • x44

                                  Ваше главное заблуждение это то что в программу обучения входит закладывание партий сыгранных людьми— это не так. (отправлено из приложения Hi-News.ru)

                  • x44

                    Согласен с resurrected. Есть ли человек который может прочитать правил любой игры и сыграть после этого достойно? Нет , все постигается через практику и поиск, исследование... к тому же, не все ли равно как ии достигает успехов если человечество надеяться получить.от него пользу.. вот игроки го уже получили пользу- им были полезны новые стратегии о которых они незнали (отправлено из приложения Hi-News.ru)

                    • amd212

                      Во первых признаём, что ИИ как бы уже и не всесилен?
                      Ну и человек с нуля уже через 20 партий начнёт сносно играть, а ИИ играя сам с собой и через миллион игр будет ещё обкатывать стратегию лучшего первого хода через вероятностный выбор, балк сёч - перебор по нашему

                      • x44

                        Все бы хорошо вот только человеку с нуля до сносной игры необходимо... около 8 лет. Пять лет в среднем чтобы прокачать свой мозг до того чтобы он смог хотябы понять правила. О и да пока он их запомнит пройдет т как минимум день... ох человек так слаб.. тото ии за 2 недели в доту научился лучше всех жалких людишек =)))) вообще я к тому что ребенок ничего не может... и все что взрослый человек может (научиться играть за 20 партий) исходит из того что он натрнировал свой мозг на то чтобы быть способным это сделать( быть способным научится за 20 партий). Когда мы сделаем такую нейросеть которая сможет ставить задачи, учиться как учиться и тп мы получим ИИ, а сейчас у нас голые нейронки которые делают вещи лучше людей и это не игрушка , а крутой инструмент. (отправлено из приложения Hi-News.ru)

                • x44

                  Я этого и не утверждал, поэтому это и не искусственный интеллект, но с узкой задачей нейронные сети справляются лучше человека. Я думаю что человек который всю жизнь играл на 19х19 тоже будет тупить на другой доске, хотя альфаго, наверно будет тупить больше. С другой стороны я уверен что можно создать альфаго2.0 который сможет играть на любых досках..
                  Подумайте, мозг очень схож с комп. нейронными сетями , только у мозга своя нейросеть для каждой задачи и он может создавать новые. Современные комп. нейросети узкоспециализированны , но это не значит что нельзя создать большую нейросеть которая способна создавать узкоспециализированные нейросети и получить чтото вроде ии. И надо ли? Чтобы дать пользу человечеству подойдут и узкоспец. нейросети. (отправлено из приложения Hi-News.ru)

    • bari

      Программист, да ещё и целый инженер.....
      Только безграмотный.

  9. mixac04

    С каких это пор Артур Arteesy Лучший среди всех игроков Дота 2 (отправлено из приложения Hi-News.ru)

    • Николай Хижняк

      Вам лучше этот вопрос адресовать организаторам, но никак не мне :)

      • mixac04

        Это как сказать, что Неймар - лучший футболист на планете...Понимаю, вы не виноваты. (отправлено из приложения Hi-News.ru)

        • Vladimir8

          Да какая разница. Самый сильный или один из сильнейших, потому что бот в любом случае научится и будет лучше. Компьютер в отличии от человека никогда не ошибается. Машинное обучение страшная вещь. Единственное что сдерживает так это как писал AMD212 так это новые стратегии. Хотя компьютер играя сам против себя может и новые выработать тупым перебором (что он сейчас и делает) Пока не может но с ростом ИИ станет возможным.

  10. ben596

    Просто, хотел бы сказать, что в данном случае игра была сильно упрощена. Они играли 1 на 1 при этом соблюдая некоторые незначительные, но все же, условия. Сама дота намного более комплексная игра 5 на 5. В любом случае, это впечатляет и OpenAI к следующему году обещает, что боты победят игроков в игре 5v5, тогда я буду под большим впечатлением. (отправлено из iOS приложения Hi-News.ru)

  11. botan

    Не плохой алгоритм (отправлено из приложения Hi-News.ru)

  12. uran

    ИИ только играть может? (отправлено из приложения Hi-News.ru)

    • resurrected

      ИИ классифицировать данные может, а будет эта классификация игрой или чем-то другим это уже не важно.

  13. x44

    Ваше главное заблуждение это то что в программу обучения входит закладывание партий сыгранных людьми— это не так. (отправлено из приложения Hi-News.ru)

  14. Zarb

    Просто он - рак! ;)

  15. Viacheslav

    А чем этот бот отличается от обычных ботов в Доте? Если запрограммировать обычного бота,только очень очень сложного, т.е. играющего почти идеально, он тоже выиграет у человека.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.