Роботы-убийцы: казнить нельзя помиловать

9 173 просмотра
Об авторе

Роботы-убийцы

В городе Тэджон, Южная Корея, производитель вооружений спроектировал и построил пулеметную турель, которая в состоянии определять, отслеживать и отстреливать цели, теоретически, без человеческого вмешательства. Кто будет обучать этих солдат правилам войны? Корреспондент BBC побывал в гостях у южнокорейского производителя автономных роботов-убийц. Дальнейшее повествование — от первого лица.

На зеленом холме с видом на усаженный деревьями периметр Тэджона, города в центральной части Южной Кореи, установка пулеметной турели лениво обшаривает горизонт. Она размером  с большую собаку: грузная, белая и чистая. Ремень с патронами — .50 калибра, вроде тех, которыми можно прошивать грузовики — переброшен через плечо установки. Сетевой кабель выходит от основания пушки и устремляется через аккуратную траву к небольшому навесному тенту, под которым в жаркий корейский полдень можно перехватить несколько бутербродов с огурцом и чашку чая.

Брезгуя чаем, кабель скользит вверх по столу и уходит в заднюю часть компьютера, экран которого отображает цветастую коллекцию изображений с камер. Одна выводит «рыбьим глазом» 180-градусную развертку горизонта перед нами. Другая показывает несколько спутниковых снимков ландшафта, как на Google Maps, привязанная к нашей позиции.

Красный конус, наложенный на изображение, показывает диапазон обзора турели. Он протекает через пейзаж: четырехкилометровый кусок территории, которого достаточно, чтобы проникнуть вглубь города с этой благоприятной точки зрения. Рядом с клавиатурой находится сложный джойстик, который пригодился бы любителям летных симуляторов на ПК. Перед контроллером приклеен ламинированный лист, сообщающий о функциях различных кнопок. Одни нацеливают. Другие измеряют дистанцию от турели до цели. Третьи посылают патроны в магазин. Нажмите на курок и турель будет стрелять.

Тэджон

Вокруг стола стоит стайка инженеров, вздрагивающая, когда начинает работать динамик, установленный на массивном штативе. Квадрат цели мигает на экране компьютера, в его центре транспорт, который движется в видоискателе камеры. Ствол орудия нацеливается на красный квадрат, словно выуженный из футуристического шутера Call of Duty. Динамик, обязанный сопровождать турель во всех ее экспедициях, известен как робот акустического предупреждения. Его голос раздается в радиусе трех километров. Звук доставляется с невероятной точностью, предупреждая потенциальную цель о том, что в нее будут стрелять (по международным законам, как сказал мне один из инженеров, предупреждение должно предварять любую стрельбу). «Повернитесь, — говорит он на скоропалительном корейском языке. — Повернитесь, или мы будем стрелять».

Это «мы» имеет важное значение. Super aEgis II, южнокорейская популярнейшая автоматическая турель, не только не будет стрелять без одобрения со стороны человека. Человек-оператор должен сперва ввести пароль в компьютерную систему, чтобы активировать способность турели стрелять. Затем он должен вручную ввести вводные данные, которые позволят турели стрелять. «Изначально она проектировалась не так, — объясняет Юнгсук Парк, главный исследовательский инженер из DoDAAM, производителя турели. Парк работает в подразделении роботизированного наблюдения компании, которое расположено в техническом тэджонском районе Юшонг. В подразделении работает 150 человек, большинство из которых, как и Парк, инженеры. «Изначально мы задумывали систему автоматической стрельбы, — объясняет он. — Но все наши клиенты попросили включить системы безопасности. Технологически это не было проблемой для нас. Но они переживали, что машина может совершить ошибку».

Super aEgis II, впервые показанное в 2010 году, является одним из новейших автоматических орудий, способных идентифицировать, отслеживать и уничтожать движущуюся цель с большого расстояния, в теории, без участия человека. Машина оказалась популярной и прибыльной. DoDAAM сообщает о продаже более 30 единиц с момента выпуска, каждая из которых стала частью интегрированных защитных систем стоимостью более 40 миллионов долларов за штуку. Турель в настоящее время активно используется в многочисленных местах на Среднем Востоке, включая три авиабазы в ОАЭ (Аль-Джафра, Аль-Сафран и Аль-Минад), Королевский дворец в Абу-Даби, оружейню в Катаре и множество других аэропортов, электростанций, трубопроводов и военных авиабаз по всему миру.

Южная Корея

Последние 15 лет мир наблюдал согласованное развитие как подобного автоматизированного оружия, так и беспилотных летательных аппаратов. Американские военные используют таких полуавтономных роботов для обезвреживания бомб и наблюдения. В 2000 году Конгресс США постановил, что треть военного наземного транспорта и самолетов глубокого поражения должны быть заменены роботизированным транспортом. Спустя шесть лет сотни роботов PackBot Tactical Mobile Robots прошли крещение Ираком и Афганистаном, открывая двери в городских сражениях, прокладывая оптоволокно, обезвреживая бомбы и выполняя другие, опасные для людей задачи без помощи извне.

«Собственные ограничения»

Еще в 2005 году New York Times сообщил о планах Пентагона заменить солдат автономными роботами. Легко понять почему. Роботы снижают необходимость использования солдат в бою, тем самым спасая жизни этих солдат, матросов и летчиков. Какой родитель отправит своего ребенка в военную зону, если робот может пойти вместо него? Но хотя такие устройства, как Super aEgis II, способные убивать автономно, существуют больше десяти лет, насколько известно общественности, полностью автономных оружейных роботов пока не было в активном использовании.

Первый закон робототехники, который вывел писатель-фантаст Айзек Азимов и который утверждает, что робот «не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред», в скором времени может быть нарушен. Призыв Комитета по человеческим правам запретить «разработку, производство и использование полностью автономного оружия» кажется вообще нелепым. Такие машины уже существуют и продаются на рынке — хотя и с «собственными ограничениями», как это обозвал Парк из DoDAAM.

Корея

«Когда мы затевали этот бизнес, мы видели возможность, — говорит Янгчан Сонг, управляющий директор стратегического планирования DoDAAM, пока мы сидим в прохладном конференц-зале. — За автоматизированным оружием будущее. Мы были правы. Эволюция были быстрой. Мы уже отошли от боевых устройств с дистанционным управлением, поэтому сейчас работаем вот над чем: умные устройства, которые могут принимать самостоятельные решения».

Южная Корея стала лидером в области военных роботов, поскольку страна граничит со своим заклятым врагом, как говорит генеральный директор DoDAAM, Мен Хван Чанг (дородный человек, который бродит по своей фабрике с прекрасным голубоглазым хаски, которого, как меня предупредили, я не должен был трогать никогда). «Надо — это мать изобретений, — говорит он. — Мы живем в уникальной ситуации. Рядом с нами мощный и вездесущий враг. Из-за постоянной угрозы у нас есть традиция разрабатывать мощные военные и инновационные технологии в своей стране. Наше оружие не должно спать, как люди. Оно должно видеть в темноте, чего люди не умеют. Наши технологии должны закрыть бреши в возможностях людей».

В пределах демилитаризованной зоны, тонкой полоски ничейной земли, отделяющей демократическую Южную Корею от Северной во главе с диктатором, DoDAAM и ее конкурент Samsung, который тоже спроектировал (ныне прекратившую свое существование) автоматическую турель, проводила испытания Super aEgis II. ДМЗ — идеальное место для такого оружия. Эта зона разделяет две Кореи с конца официальных переговоров в 1953; поскольку страны никогда не подписывали соглашение о прекращении огня, ДМЗ скрупулезно охраняют тысячи солдат с каждой стороны. Турели не только никогда не спят и должны видеть в темноте (благодаря тепловизорам), но и будучи направленными в нужную точку, они должны определять движущиеся цели как вражеские. Это может быть сложно, когда свои смешиваются с чужими. В настоящее время никакое оружие не может отличить своих от чужих.

Турель

Сонг сидит за широким столом в окружении пяти молодых инженеров, большинство из которых учились в колледжах Лиги Плюща в Америке, прежде чем вернуться к работе в прибыльной сфере оружия Южной Кореи. «Следующим шагом для нас станет точка, когда наше программное обеспечение может различать друзей, врагов, гражданских и военных, — объясняет он. — Сейчас люди должны определять, является цель противником или нет». Парк и другие инженеры утверждают, что почти достигли этой цели. Super aEgis II способен искать потенциальные цели в области. (Оператор может даже очертить виртуальный периметр, в пределах которого на движущегося противника будет наставляться пушка). Затем, благодаря многочисленным камерам, по словам Парка, ПО орудия может определять, есть ли у потенциальной цели взрывчатка под одеждой. «Через десять лет, думаю, мы сможем компьютерным путем определять тип противника по униформе», — говорит он.

После того как оружие научится отличать друга от врага и автоматически открывать огонь по последнему, это ознаменует короткий шаг к полной автоматизации. И как только оружие научится определять, когда и когда убивать, фантастика «Робокопа» станет реальностью. Немецкий философ Томас Метцингер утверждал, что перспектива увеличения количества страдания в мире настолько ужасна морально, что мы должны прекратить создание роботов с искусственным интеллектом немедленно. Но финансовые выгоды для компаний, которые строят такие механизмы, делают идеи Метцингера совершенно устаревшими. Роботы не просто идут к нам — они уже пришли. Вопрос в том, чему мы будем их учить.

Сложные правила

Проблема вагонетки Филиппы Фут, впервые определенная в 1967 году, известна всем, кто хоть немного обучался этике. Она предположила следующий сценарий: беглая вагонетка приближается к стрелке железнодорожных путей. Если она продолжит движение, умрет пять работников. Если пустить ее по другому пути, умрет только один. Что вы будете делать, оператор? На этот этический вопрос скоро придется отвечать не нам, а нашим машинам. Самоуправляемый автомобиль может принять решение, врезаться в машину впереди, тем самым подвергая опасности едущих в ней людей, либо же свернуть на обочину, подвергнув опасности собственного пассажира. (Разработка автомобилей Google частично была вдохновлена дизайнером Себастьяном Труном, который потерял кого-то в автокатастрофе. Говорят, это привело к появлению у него морального императива создавать самоуправляемые автомобили, которые будут спасать жизни людей.

Самолет

Точно так же полностью автономная версия беспилотного «Хищника», возможно, будет решать, стрелять или не стрелять по дому, в котором находятся как вражеские солдаты, так и гражданские. Как вам, инженеру программного обеспечения, создать набор правил поведения для таких устройств в таких сценариях? Возможно ли запрограммировать устройство на самостоятельное принятие решений? Для многих простым решением будет обойти эти вопросы — отдать принятия решения, которое нанесет вред человеку, оператору. По этой причине договором в Оттаве в 1997 году были запрещены мины. По большей части это автономное оружие, которое может взорвать любого, кто на него вступит.

В этом контексте предоставление прав управления человеку полностью убивает весь смысл. Кажется очевидным, например, что пилоты должны иметь полный контроль над системой автопилота самолета. Но катастрофа Germanwings 2015 года, когда второй пилот Андреас Любиц намеренно врезал самолет во французские Альпы, убив всех 150 пассажиров, усложняет дело. Может быть, в самом деле, не позволять пилоту брать на себя управление компьютером — по крайней мере если он хочет пустить самолет в горы?

«Есть несколько подходов в попытке разработать этические машины и множество проблем, — объясняет Гэри Маркус, когнитивный ученый Нью-Йоркского университета и главный исполнительный директор и основатель Geometric Intelligence. — Мы можем пытаться запрограммировать все заранее, но это не тривиально — как, к примеру, внушить программе понятия вроде «справедливости» или «вреда»?». Существует еще один аспект проблемы, кроме неоднозначных определений. К примеру, любой набор правил, выданных автоматизированному солдату, будет либо слишком абстрактным, чтобы быть правильно вычисляемым, либо слишком конкретным, чтобы охватить все ситуации.

Роботы

Некоторые считают, что ответ лежит в имитации того, как люди выстраивают этические рамки, с обучением реагировать на разные моральные правила, выбирая те, которые наиболее подходят к месту.

«Мы приобретаем интуитивное чувство того, что это этически приемлемо, когда наблюдаем, как другие ведут себя и реагируют на ситуации, — говорит Колин Аллен, профессор когнитивных наук и философии наук Университета Индиады. — Другими словами, мы учимся тому, что приемлемо, а что нет, говоря языком этики, у других — не без опасности выучить плохое поведение, репрезентующее плохое ролевое поведение. Даже если у машин будут похожие способности к обучению или же им придется действовать в жестко ограниченных рамках, будут оставаться подводные камни».

В DoDAAM у Парка есть вроде бы разумный компромисс. «Когда мы достигнем точки, в которой у нас есть турель, которая может принимать автономные решения самостоятельно, мы гарантируем, что ИИ будет придерживаться армейского свода правил. Мы будем следовать этим прескрипциям и включать эти правила в наши системы».

«Замороженные значения»

Однако Аллену этот план кажется хлипким. «Google признает, что одна из сложнейших проблем для их программирования — это то, как автоматизированный автомобиль должен вести себя в случае знака «стоп» по четырем направлениям, — объясняет он. — В таком сценарии должен стоять вопрос обращения к местным нормам, нежели следования заранее заложенному коду — без строгого выполнения человеческого указа». В хаотических условиях бойни робот должен думать самостоятельно. Есть опасность «заморозить» наши значения, как военные, так и гражданские, в аппаратном обеспечении. «Представьте если бы отцы-основатели США заморозили свои значения на разрешение рабства, ограничение свободы женщин и так далее, — говорит Маркус. — Вероятнее всего, нам нужна машина с уверенной базой самообучения, которая, возможно, превосходит наши способности рассуждать морально».

dodaam

Для Андерса Сандберга, старшего научного сотрудника Школы Оксфорд-Мартин Института будущего человечества, потенциальные выгоды предложения машин выстраивать собственные этические рамки приходят параллельно со значительными рисками. «По-настоящему самообучающаяся система может узнать различные значения и теории, по которым будет выполнять действия, и если отразит их на себе, то может стать настоящим нравственным агентом в философском смысле. — говорит он. — Проблема в том, что она может получить некие безумные или чуждые нам значения, даже если начнет с общего диапазона взглядов людей».

А часики тикают. Компании вроде DoDAAM продолжают выходить на новый уровень в своей области еще до того, как наш вид найдет адекватные ответы на ее вопросы, которые возникают по роду деятельности. «Мы должны инвестировать в выяснение того, как урегулировать программное обеспечение, как вообще форсировать это урегулирование, как проверить программное обеспечение, — призывает Маркус. — Мы должны также инвестировать в выяснение того, как включить этические рассуждения в машины. Все это непросто, все это станет критически важным в ближайшие десятки лет».

Аллен считает, что время еще есть. «У нас есть возможность обдумать последствия и возможные пути их решения, пока технология находится в разработке, — говорит он. — Я хотел бы увидеть объединенные комитеты бизнесменов, политиков и граждан, которые наблюдают и оценивают разработку машин, которые могут работать без надзора людей в публичных местах, на дорогах и в небе. Такие панели должны наблюдать за развитием этой области, так же как человеческие комитеты наблюдают за делами людей».

Сандберг соглашается, хотя считает, что мы далеки от действенных ответов, которые могут быть приведены в какое-либо урегулирование. «Срочно нужно больше исследований, — говорит он. — Серьезные исследования машинной этики и безопасности ИИ — это исключительно новое поле. Первые идеи появились в конце 90-х, спустя десятки лет после того, как появились институты ИИ. Мы находим новые сюрпризы постоянно: нестабильность очевидных методов создания этических машин и глубокие философские проблемы вытекают из простейших, казалось бы, инженерных проблем». Сандберг считает, что ключ лежит в междисциплинарной работе философов, инженеров, социологов и даже экономистов. «Теории недостаточно, — говорит он. — Мы должны объединяться с людьми, проектировать и развертывать эти системы».

Машины

На фабрике DoDAAM в Тэджоне у инженеров нет четких ответов на вопросы, которые так быстро всплыли по роду их деятельности. «Человеческая жизнь превыше всего, поэтому мы и включили системы безопасности в свою турель», — говорит Сонг. Но для Парка и других инженеров, это состояние — временное. Их цель — сделать продукт «умнее», сосредоточившись на «увеличении автономной функциональности орудия», представить «определение целей» и «создать сетевую систему турелей», в которой одна турель будет связываться с другой, покрывая огромные расстояния.

Независимо от того, что будет возможно в будущем, автоматические машины, которые могут определять, отслеживать, предупреждать и уничтожать цели среди людей, не нуждаясь в руке помощи людей, уже существуют в нашем мире. Без четких международных определений, единственное, что сдерживает производителей оружия от продажи таких машин, это здравый смысл, причем со стороны клиентов скорее, а не робота или инженеров. «Если кто-то придет к нам, желая получить турель без включенных систем безопасности, мы, конечно, посоветуем его их включить и опишем потенциальные проблемы, — говорит Парк. — Но за ними останется окончательное решение. И мы изготовим турель по желанию клиента».

Роботы-убийцы: казнить нельзя помиловать

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

45 комментариев

  1. MITKA

    А это хорошее подспорье Скайнету! )))

  2. Rikka

    Чушь! Нет за этим будущего. По хорошему снайперская винтовка - бьешь по оптики и миллионы долларов груда бесполезного металла. А если есть способ подключиться значит и есть способ хакнуть и перепрограммировать. Никогда бы не доверила этому стратегически важный объект. (отправлено из Android приложения Hi-News.ru)

    • tarkit

      снайперская винтовка - чушь, броня выдержит ее выстрел, а дистанция и расположение цели например в воздух не позволит вам даже выстрелить засекут датчики и камеры.
      хакнуть и перепрограмировать можно только если управление не автономно, иначе придется залезать внутрь. так что очень даже имеет место быть.

      • snow1eopard

        Достаточно лазером заслепить оптику и подходи режь ручной ножовкой по металлу) таких лазеров только ленивый уже не наклепал)

        • tarkit

          Ага, действительно, лазером оптику ослеплять с защитой от отслепления) ну конечно, как же разработчики не догадались то...

          • amd212

            Защита от ослепления спасает сенсор, но оператор таки ничего не видит. Это как закрыть глаза, когда на тебя светит прожектор.

            • MITKA

              Очень наивно полагать, что военную технику можно вывести из строя "лазерной указкой", вы просто выдадите свое местоположение, и приблизите свой конец)))

              • amd212

                Хороший военный лазер бьёт с десяти км. Робот туда недострелит.
                Выдавать своё местоположение так и так придётся раз кругом война.

                • tarkit

                  военные лазеры используются для подсветки целей а не для ослепления оптики, такой фигней ни кто не занимается, проще просто лупануть артилерией по квадрату километр на километр.
                  да и потом размер такого робота может быть очень мал, а я не думаю что вы с легкастью сможете целиться указкой в маленький кружок камеры размером с маленькую мадель машинки на пульте оправления она еще и быстрая будет.
                  собственно вон, в магазе купить мильен таких ДВС моделек, начинить тротилом и отправить на вражеский фронт, дешего и сметроносно.

      • amd212

        Интересно если жахнуть по линзочке жидким стеклом (канцелярский клей) или сбросить фугас с распылённой краской распознавалка у робота съедет?
        Хотя может конструкторы что-нибудь и предусмотрели и робот реально умеет жмуриться.

        • tarkit

          все может быть куда проще - оптики вообще нету, есть радиолокационка и спутник в космосе или беспилотники, а еще датчики не обязательно должны быть в видимом спектре будет машинка с подобием рентгена ездить.

      • nergaveechka

        "Какой родитель отправит своего ребенка в военную зону, если робот может пойти вместо него? " Они с радостью пошлют роботов убивать детей других родителей.

      • Rikka

        Я говорила не выстрел в броню а в оптику турели, пусть даже защищённую стеклом. Есть на крайняк и противоснайперские винтовки. (отправлено из Android приложения Hi-News.ru)

        • Rikka

          Противоснайперки простите за выражение в говно расфигачат все оптику
          П.с.: ко да сделают редактирование сообщений? (отправлено из Android приложения Hi-News.ru)

    • MITKA

      В танках и вертолетах, та же система наведения, и чего то никто пока не смог ни ослепить, ни разбить визиры))) Против ослепления стоит фильтр на ФПУ, визирные телескопы стоят под прямым углом к окну визирования и "смотрят" на мир через зеркало, стекло обычно пуленепробиваемое и стоит под углом, для "рикошета" пули, осколка ;)

      • amd212

        У танка броня 30 см. Там всё заглублено, очень дорого и места навалом.
        Робот должен быть лёгким и дешёвым, иначе как их в годы войны миллион наштампуешь?

        • MITKA

          Про места навалом - это 5, там место до долей миллиметра выверяют, поверьте мне)))
          Стационарную турель никто не мешает чуть "подкрепить" броней ;)

          • amd212

            Танк и "долей миллиметра выверяют" как-то фантастично. Если только в двигателе или оружейной части. Что касается заглубления оптики повторяюсь у 40ка тонного танка конструктивно гораздо больше возможности чем у 100 килограммового робота

            • MITKA

              Именно так и есть (я про миллиметраж) работаю с этим ;) Вы не поверите какие проблемы начинаются, когда размеры на 0,5 мм не совпадают...(((

              • amd212

                Я не имею ввиду диаметры болтов или там размеры кронштейнов внутреннего крепления. Естественно там соблюдение размеров важно поскольку уже так задизайнено. Имелось в виду то, что на этапе конструирования, некую внешнюю деталь на танке легче например сдвинуть, заглубить, укрупнить чем на небольшом роботе. На танке просто больше манёвра для конструктора чем на роботе.

  3. Jen Shrader Lawrence

    Что то мне подсказывает что чем дальше, тем все хуже и хуже. Да и теперь понятно на что пустят сверхинтеллект

    • Emorel

      если вы пишите сверхинтеллект то он как минимум будет на уровне умного человека или превзойдет человеческий, так что не кто не куда его не пустит он сам будет решать куда идти).

      • Jen Shrader Lawrence

        Вообще то да. Че т я.... Надеюсь он так и сделает. Скажет: да пошли вы со своими войнами, деньгами, государствами)

    • Sommer

      Чем дальше, тем только лучше. А фобия технология удел холопов

  4. curious 2

    Все больше статей на данную тематику, авторы высасывают из пальца...
    Кризис идей жанра...

  5. tabasko

    По всем параметрам это старьё! Но тема актуальна, ведь корпорации готовы продовать и автономные системы, по желанию заказчика где логика законности таких сделок, или заказчик подписывает документ о полной ответственности устанавливая данное устройство? Здесь слишком много недописанно в статье, так как слишком много вопросов возникает о доступности таких роботов убийц, прав использования, ответственности действий, и т.д.
    в общем в топку! (отправлено из Android приложения Hi-News.ru)

    • tarkit

      как в топку то? это у нас все сложно. в шатах например в техасе все очень даже просто - земля твоя, твое право ее охранять. человек ступивший на твой газон без приглашения получает от тебя пулю в лоб на законных основаниях - очень даже правильно ибо нехрен лезть в чужую жизнь и чужие дома.
      Зато ни тебе свидетелей иеговых и ни какой опаски что пока ты зимой где то отдыхаешь твою дачу обкрадут подожгут или еще чего.. и главное что бы все об этом знали что частная територия на то и частная.

  6. storm X

    "Брезгуя чаем, турель ..." Лолчто? (отправлено из iOS приложения Hi-News.ru)

  7. Deus_Ex

    Прокладывать оптоволокно опасно? (отправлено из приложения Hi-News.ru)

  8. amd212

    C вагонеткой оператору нужно бросить монетку. С высокой вероятностью в 50% решение будет оптимальным.

  9. 19680206

    В фильме Чужие турели были прикольные....

  10. Nik329

    Пулеметные турели... Пулеметные турели... С белым чистым корпусом...! (отправлено из Android приложения Hi-News.ru)

  11. mr Vanya

    Ломать не строить. Любого робота можно сделать нефункциональном, главное знать принципы по которым он ориентируется на местности. И если это GPS, то просто отключить его, или ещё лучше создать ложные спутники. И робот пойдёт в другую сторону.

    "... после потери связи с одним из беспилотников ОБСЕ было принято решение об экстренной посадке. В результате инцидента летательное средство было уничтожено, Причиной повреждения аппарата были «серьезные помехи». «Все, что мы знаем об этом оборудовании [создавшем помехи], что это было высококлассное военное оборудование, которое привело к повреждению системы GPS», — пояснил он.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.