Строим нравственную машину: кто будет отвечать за этику самоуправляемых автомобилей?

5 Ноября 2018, Илья Хель 8

Вы движетесь по шоссе, как вдруг на оживленную дорогу выбегает человек. Вокруг вас движутся автомобили, и у вас есть доля секунды, чтобы принять решение: попытаться объехать человека и создать риск аварии? Продолжать движение в надежде, что он успеет? Тормозить? Как вы оцените шансы, если у вас на заднем сиденье будет пристегнут ребенок? Во многом, это классическая «нравственная дилемма», проблема вагонетки. У нее есть миллион самых разных вариантов, которые позволяют выявить человеческое предубеждение, но суть одна.

Вы находитесь в ситуации, на кону которой жизнь и смерть, простого выбора нет, и ваше решение, по сути, определит, кому жить, а кому умереть.

Дилемма вагонетки и искусственный интеллект

Новая работа MIT, опубликованная на прошлой неделе в журнале Nature, пытается придумать рабочее решение проблемы вагонетки, привлекая миллионы добровольцев. Эксперимент начался в 2014 году и вполне удался, получив больше 40 миллионов ответов из 233 стран, что делает его одним из крупнейших проведенных нравственных исследований.

Человек может принимать такие решения несознательно. Трудно взвесить все этические системы и нравственные предпосылки, когда твой автомобиль мчится по дороге. Но в нашем мире решения все чаще принимаются алгоритмами, и компьютеры запросто могут реагировать быстрее нас.

Гипотетические ситуации с самоуправляемыми автомобилями — это не единственные нравственные решения, которые предстоит принимать алгоритмам. Медицинские алгоритмы будут выбирать, кому получать лечение с ограниченными ресурсами. Автоматизированные беспилотники будут выбирать, сколько «побочного ущерба» допустимо в отдельном военном столкновении.

Не все моральные принципы равны

«Решения» проблемы вагонетки так же разнообразны, как и сами проблемы. Каким образом машины будут принимать моральные решения, когда основы морали и нравственности не приняты универсально и могут не иметь решений? Кому определять, правильно или неправильно поступает алгоритм?

Краудсорсинговый подход, принятый учеными Moral Machine, достаточно прагматичный. В конце концов, чтобы общественность приняла самоуправляемые автомобили, она должна принять моральный фундамент, стоящий за их решениями. Будет не очень хорошо, если специалисты по этике или юристы придут к решению, которое будет неприемлемо или недопустимо для обычных водителей.


Результаты приводят к любопытному заключению о том, что нравственные приоритеты (а значит и алгоритмические решения, который могут быть приняты людьми) зависят от того, в какой части мира вы находитесь.

Прежде всего, ученые признают, что невозможно узнать частоту или характер этих ситуаций в реальной жизни. Попавшие в аварию люди очень часто не могут сказать, что конкретно произошло, и диапазон возможных ситуаций исключает простую классификацию. Поэтому, чтобы проблему стало возможно отследить, ее приходится разбивать на упрощенные сценарии, искать универсальные моральные правила и принципы.

Когда вы проходите опрос, вам предлагается тринадцать вопросов, которые требуют простого выбора: да или нет, пытаясь сузить ответы до девяти факторов.

Должна ли машина свернуть на другую полосу или продолжать движение? Должны ли вы спасать молодых людей, а не старых? Женщин или мужчин? Животных или людей? Должны ли вы попытаться спасти как можно больше жизней или один ребенок «стоит» двух пожилых? Спасти пассажиров в автомобиле, а не пешеходов? Тех, кто переходит дорогу не по правилам, или тех, кто по правилам? Должны ли вы спасать людей, которые более крепкие физически? А как насчет людей с более высоким социальным статусом, таких как врачи или бизнесмены?

В этом суровом гипотетическом мире кто-то должен умереть, а вы будете отвечать на каждый из этих вопросов — с разной степенью энтузиазма. Однако принятие этих решений также раскрывает глубоко укоренившиеся культурные нормы и предубеждения.

Обработка огромного набора данных, полученных учеными в ходе опроса, дает универсальные правила, а также любопытные исключения. Три наиболее преобладающих фактора, усредненные по всему населению, выражались в том, что каждый предпочитал спасать больше жизней, нежели меньше, людей, а не животных, и молодых, а не старых.

Региональные различия

Вы можете согласиться с этими пунктами, но чем глубже вы задумываетесь над ними, тем более тревожными будут моральные выводы. Больше респондентов предпочли спасти преступника вместо кошки, но в целом предпочли спасти собаку, а не преступника. В среднем по миру быть старым оценивается выше, чем быть бездомным, но бездомных людей спасали реже, чем жирных.

И эти правила не были универсальными: респонденты из Франции, Великобритании и США отдавали предпочтение молодым, тогда как респонденты из Китая и Тайваня охотнее спасали пожилых людей. Респонденты из Японии предпочитали спасать пешеходов, а не пассажиров, а в Китае предпочитают пассажиров пешеходам.

Исследователи обнаружили, что могут сгруппировать ответы по странам в три категории: «Запад», преимущественно Северная Америка и Европа, где нравственность базируется в основном на христианской доктрине; «Восток» — Япония, Тайвань, Ближний Восток, где преобладают конфуцианство и ислам; «Южные» страны, включая Центральную и Южную Америку, наряду с сильным французским культурным влиянием. В Южном сегменте более сильные предпочтения пожертвовать женщинами, чем где-либо еще. В Восточном сегменте больше склонность к спасению молодых людей.

Фильтрация по разным атрибутам респондента дает бесконечные интересные варианты. «Очень религиозные» респонденты с небольшой вероятностью предпочтут спасение животного, но как религиозные, так и нерелигиозные респонденты выражают примерно равное предпочтение спасения людей с высоким социальным статусом (хотя можно сказать, что это противоречит некоторым религиозным доктринам). Мужчины и женщины предпочитают спасать женщин, но мужчины все-таки менее склонны к этому.

Вопросы без ответа

Никто не утверждает, что это исследование каким-то образом «решает» все эти веские моральные проблемы. Авторы исследования отмечают, что краудсорсинг онлайн-данных все же включает предвзятость. Но даже при большом размере выборки количество вопросов было ограничено. Что будет, если риски будут меняться в зависимости от принятого вами решения? Что, если алгоритм сможет вычислить, что у вас был всего 50-процентный шанс убить пешеходов, учитывая скорость, с которой вы двигались?

Эдмонд Авад, один из авторов исследования, выразил осторожность в отношении чрезмерной интерпретации результатов. Дискуссия, по его мнению, должна перетекать в анализ рисков — кто больше или меньше подвержен риску — вместо того, чтобы решать, кому умереть, а кому нет.

Но самым важным результатом исследования стала дискуссия, которая разгорелась на его почве. Поскольку алгоритмы начинают принимать все более важные решения, влияющие на жизнь людей, крайне важно, чтобы у нас было постоянное обсуждение этики ИИ. Проектирование «искусственной совести» должно включать мнение каждого. Хотя ответы не всегда будет просто найти, лучше все же попытаться сформировать нравственные рамки для алгоритмов, не позволяя алгоритмам самостоятельно формировать мир без человеческого контроля.

Согласны? Расскажите в нашем чате в Телеграме.

8 комментариев Оставить свой

  1. saypan77

    Я так понял, нравственные машины всё равно потенциальные убийцы. Так что колличество смертей на дорогах не уменьшится.

  2. evetrov

    какие к черту нравственные принципы... машины не умеют между колес ямы пропускать и тупят перед пересечением перекрестка.

    если спереди авто покатится назад, автопилот не будет тоже отъезжать назад.
    при препятствии на дороге - автопилот не сможет его объехать с пересечением сплошной... хотя по ПДД при непреодолимом препятсивии можно вынужденно нарушать, при этом убедившись в безопасности маневра...

    обогнать фуру на двухполосной загородной трассе (это маневр с выездом на встречную полосу) - вообще запредельный для автопилота челендж.

    тормозить двигателем при приближении к перекрестку с красным светофором (ибо смысла нет газовать), или наоборот газовать, в общем оптимизировать подъезд к светофору - тоже еще сложно

    перестраиваться в движущийся поток со стоячего места - тоже еще неразрешимая задача

    начать движение при зеленом сигнале светофора, и понемногу двигаться к впереди стоящей машине, даже если она не поехала - тоже нет такого.

    а спецслужбам (скорая, пожарная и тп) она уже умеет уступать? а если это пробка и нужно отъехать хоть как нибудь чтоб пропустить?



    а тут о каких то абстрактных соплях народ рассуждает.

    • Aladdin

      evetrov, Как раз всё из перечисленного легко реализуется автопилотом с ИИ на борту,просто пока алгоритмы ещё сырые. Но это вопрос нескольких лет....

  3. AMDRYZEN

    Какая нах мораль и нравственность , первоочередная цель это спасти водителя и пассажиров , раз это автопилот он не нарушит пдд , а те кто нарушают сами лезут на край пропасти и никто за них не должен отвечать или умереть тем более ,
    Тут нет никакого этического выбора для компьютера , единственный выбор это сохранить водителя в безопасности и все ,
    Задача всех остальных как водителей так и пешеходов не нарушать , вот и все !

    • baa

      AMDRYZEN, Если беспилотным самолетом с помощью средств виртуальной реальности управляет пилот, находящийся в наземном центре, вероятность спасения самолета уменьшится?
      Из каких соображений экипажу самолета не выдают парашюты?
      Водитель автомобиля инстинктивно спасает себя, уклоняясь от опасности. Про пассажира подумать не успевает.

      • AMDRYZEN

        baa, Не выдают потому что это весполезно , на таких скоростях не двери и люки не получится открыть надо прилагать силу в несколько тонн что бы открыть дверь , во вторых никто не мешает им взять парашюты среди собственных вещей , только это все равно бесполезно , большие аварий происходит на взлете и посадке , парашют не спасёт , на больших высотах и скоростях не получится открыть ни двери ни аварийные люки , единственный способ спасти свою шкуру посадить самолёт ,

        Самолёты уже сегодня могут летать без пилота , они самостоятельно могут вырулить на нужную полосу ,взлетать пройти по маршруту и сами садится пилотам надо только нажимать кнопки и подтвердить запросы автопилота , пилот на борту уже не управляет самолетом он просто отдаёт приказы автопилоту , и находится на борту в случае ЧП , сколь бы навороченным не был автопилот на борту всегда будет пилот который должен принимать решения не только связанные с управлением но так же с другими ситуациями ,поломки , психами на борту , и т д

        С самолетами разобрались ,
        Теперь какое отношение имеет автопилот самолёта к автопилоту в машине , все что от него требуется рулить и спасать жизнь водителя и всё , нафига мне автопилот который из за собаки или пустой коляске на дороге отправит машину в столб , ну его наx ...

        • Aladdin

          AMDRYZEN, Катапультой оснастить все авиалайнеры))

          • AMDRYZEN

            Aladdin,
            1 катапульта стоит больше миллиона $ , в б 737-800 150 мест , 737-800 стоит около 60млн$ то есть одни катапульты на всех будут стоить в 3 раза дороже чем весь самолёт ) , не говоря что они весят ещё много ,
            Об этом было как то сказано , если в 737-800 поставить катапульты то билет будет стоить в 7-10 раз дороже , даже в бизнес джеты не ставят катапульты а ведь $ у миллионеров есть , а все просто , они не выживут , неподготовленный человек умрёт все равно, даже пилоты с опытом получают травмы которые ставят крест на их службу , одна из самых частых травм это травма позвоночника короче это дорого и все равно бесполезно , потому никакая авиакомпания и даже частники не ставят их ,
            Но для справедливости скажу что на некоторых пилотажных самолетах они есть .

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.