Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса

1 Сентября 2017 в 19:30, Илья Хель 7 795 просмотров 13

Руководители более сотни ведущих мировых компаний в области искусственного интеллекта очень обеспокоены развитием «роботов-убийц». В открытом письме ООН эти бизнес-лидеры, включая Илона Маска из Tesla и основателей гугловской DeepMind – предупредили, что использование технологий автономного оружия может быть принято террористами и деспотами, либо в той или иной степени подвергнется взлому.

Но реальная угроза намного серьезнее – и дело не только в человеческих проступках, но и в машинных. Исследование сложных систем показывает, что они могут вести себя гораздо более непредсказуемо, чем можно сделать вывод из суммы отдельных действий. С одной стороны это означает, что человеческое общество может вести себя совершенно по-другому, чем вы могли ожидать, изучая поведение индивидов. С другой стороны, это применимо и к технологиям. Даже экосистемы простых программ искусственного интеллекта – которые мы называем тупыми, хорошими ботами – могут удивлять нас. Даже отдельные боты могут вести себя кошмарно.

Отдельные элементы, составляющие сложные системы, такие как экономические рынки или глобальную погоду, имеют тенденцию не взаимодействовать простым линейным способом. Это делает эти системы очень трудными для моделирования и понимания. Например, даже после многолетних исследований климата невозможно спрогнозировать долгосрочное поведение погоды. Эти системы настолько чувствительны к мельчайшим изменениям, насколько взрывоопасно на них реагируют. Очень сложно узнать точное состояние такой системы в отдельно взятый момент. Все это делает эти системы внутренне непредсказуемыми.

Все эти принципы применимы к большим группам людей, действующим по-своему, будь то человеческие общества или группы ботов с искусственным интеллектом. Недавно ученые изучали один из типов сложной системы, в которой хорошие боты использовались для автоматического редактирования статей на Википедии. Эти самые разные боты разработаны, написаны и используются доверенными редакторами Википедии, а их базовое программное обеспечение с открытым исходным кодом и доступно для всех. По отдельности они имеют общую цель – улучшать энциклопедию. Однако их коллективное поведение оказалось на удивление неэффективным.


В основе работы этих ботов с Википедии лежат хорошо установленные правила и условности, но поскольку у веб-сайта нет центральной системы управления, нет и эффективной координации между людьми, управляющими разными ботами. В результаты обнаружились пары ботов, которые несколько лет отменяли правки друг друга и никто не замечал. И, конечно, поскольку эти боты никак не учатся, они тоже не заметили.

Эти боты предназначены для ускорения процесса редактирования. Но небольшие различия в дизайне ботов или между людьми, которые их используют, могут привести к массовой трате ресурсов в продолжающейся «войне за редактирование», которая была бы разрешена гораздо быстрее с помощью редакторов.

Исследователи также обнаружили, что боты вели себя по-разному в разных языковых версиях Википедии. Правила, казалось бы, практически одинаковы, цели идентичны, технологии похожи. Но в немецкоязычной Википедии сотрудничество ботов было намного более эффективным и продуктивным, чем, например, в португальской. Это можно объяснить только различиями между редакторами-людьми, которые руководили этими ботами в разных средах.

Экспоненциальная путаница

Боты с Википедии не обладают широкой автономией и система уже работает не в соответствии с целями отдельных ботов. Но Wikimedia Foundation планирует использовать ИИ, которые будут давать больше автономии этим ботам. И это, вероятнее всего, приведет к еще более непредсказуемому поведению.

Хороший пример того, что может случиться, продемонстрировали боты, созданные для разговоров с людьми, когда их заставили общаться между собой. Мы уже не удивляемся ответам персональных ассистентов вроде Siri. Но заставьте их общаться между собой и они быстро начнут вести себя неожиданным образом, спорить и даже оскорблять друг друга.

Чем больше становится система и чем более автономным становится каждый бот, тем более сложным и непредсказуемым будет будущее поведение этой системы. Википедия – это пример работы большого числа относительно простых ботов. Пример с чат-ботами – это пример небольшого числа относительно сложных и изобретательных ботов – в обеих случаях возникают непредвиденные конфликты. Сложность и, следовательно, непредсказуемость растут экспоненциально по мере добавления в систему индивидуальности. Поэтому, когда в будущем появятся системы с большим количеством очень сложных роботов, непредсказуемость их выйдет за пределы нашего воображения.

Полыхающее безумие

Самоуправляемы автомобили, например, обещают осуществить прорыв в эффективности и безопасности дорожного движения. Но мы еще не знаем, что произойдет, когда у нас будет большая дикая система полностью автономных автомобилей. Они могут вести себя по-разному даже в пределах небольшого флота индивидуальных автомобилей в контролируемой среде. И еще более непредсказуемое поведение может проявиться, когда самоуправляемые автомобили, «обученные» разными людьми в разных местах, начнут взаимодействовать между собой.

Люди могут адаптироваться к новым правилам и соглашениям относительно быстро, но при этом с трудом переключаются между системами. Искусственным агентам может быть еще сложнее. Например, если «обученный в Германии» автомобиль поедет, например, в Италию, мы не знаем, как он освоит неписаные культурные соглашения, которым следуют многие другие «обученные в Италии» автомобили. Нечто обыденное вроде пересечения перекрестка может стать смертельно рискованным, потому что мы просто не знаем, будут ли машины взаимодействовать, как положено, либо начнут вести себя непредсказуемо.

А теперь подумайте о роботах-убийцах, которые беспокоят Маска и его коллег. Один робот-убийца может быть очень опасен не в тех руках. А система непредсказуемых роботов-убийц? Думайте сами.

Роботы-убийцы? Остановитесь, даже хорошие роботы непредсказуемы до ужаса

13 комментариев

  1. -abirvalg-

    Три журно@@@@@ких "кита" сошлись в одном тексте. Как на уроке.

  2. PROVOCATOR

    Хорошо бы ещё и ссылочку на само открытое письмо выложить. (отправлено из приложения Hi-News.ru)

  3. coolwolf0

    Внимательно прочитал первое предложение. Сразу проверил, кто автор. Всё совпало: бессвязная завязка и набор штампов, приправленных страшилками. Смешались в кучу кони, люди. Хай-тек ньюз, рашен эдишн.

  4. Aladdin

    а что разве не так будет? ессно сложные системы могут сбоить(и будут) с серьёзными последствиями,тем более окажись они в чьих-то руках(психически больного) или же фанатика...

  5. amd212

    Этическая проблема военного доминирования . Допустим экономически и технически более слабый противник создал автоматическое оружие и разместил его на своей территории. Я попытался взломать, хакнуть его или просто вывести из строя. Что-то пошло не так и оружие выйдя из-под контроля уничтожило мирных граждан. Правозащитники устроили хайп на всю блогосферу. Кто виноват? Теоретически противник - принцип "а-неча!", но фактически я - не справился со сложным кодом прошивки. Лучше сразу запретить, или возглавить, наработать госты, стандарты, сертификаты безопасности.

  6. Cool

    Резетку что ли слабо потянуть? (отправлено из приложения Hi-News.ru)

  7. Kajus Bonus

    А что...кто-то создал таки ИИ)? Или опять делят шкуру неубитого медведя, который ко всему прочему ещё и не родился)? Если программа научилась находить на картинке лица, она ещё не стала от этого интеллектуальной. Вообще не понимаю поводов для срача, писем в ООН и т.д.
    Маск решил, что уже целых два дня о нем не трубят на всех углах и нашел тему для хайпа)? Давайте уже выберем его президентом Мира, пусть мужик успокоится...ну и вообще он похож Антихриста, которому надлежит как раз попрезидентствовать на планете перед посадкой на гиперлуп до Ада).

    • Asmodeus55555

      Kajus, Речь не о полноценном ИИ, а вообще о роботах предназначенных для лишения жизни и здоровья людей.

    • amd212

      Kajus, Пулемётная турель + блок распознавания изображения + блок прицеливания + програмка-демон подавальщик команд активации спускового крючка.

  8. Sergey_

    Хороший рассказ на тему взаимопонимания роботов друг с другом:
    Олег Дивов. "Холод, голод, интеллект"

  9. Aleksandr

    ИИ последние изобретение людей и Мы его скоро сознательно доделаем. "Человек Разумный" бл...

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.