Почему ИИ, осуждающий преступников, — это опасно?

4 891 просмотр
Об авторе

Искусственный интеллект уже в некотором роде помогает определиться вашему будущему. Когда вы ищете что-нибудь в поисковике, пользуетесь сервисом вроде Netflix или банк оценивает вашу пригодность для ипотеки. Но что будет, если искусственному интеллекту придется определять, виновны вы или нет, в суде? Как ни странно, в отдельных странах это уже, возможно, происходит. Недавно американского высокого судью Джона Робертса спросили, может ли он представить день, когда «умные машины, управляемые искусственным интеллектом, будут помогать в поиске улик или даже в принятии судебных решений». Он ответил: «Этот день уже настал, и он существенно помогает судебным органам в производстве дел».

Возможно, Робертс имел в виду недавний случай Эрика Лумиса, которого приговорили к шести годам заключения по рекомендации секретного проприетарного программного обеспечения частной компании. Лумис, который уже имел криминальную историю и был приговорен за то, что бежал из полиции на угнанной машине, теперь утверждает, что его право на процедуру было нарушено, поскольку ни он, ни его представители не смогли рассмотреть или опротестовать алгоритм рекомендации.

Отчет был подготовлен программой Compas, которая продается Notrpointe судам. Программа воплощает новую тенденцию в исследованиях ИИ: помогает судьям принять «лучшее» (или по крайней мере более ориентированное на данные) решение в суде.

Хотя конкретные подробности дела Лумиса остаются закрытыми, в нем наверняка содержатся диаграммы и числа, определяющие жизнь, поведение и вероятность рецидива Лумиса. Среди них возраст, раса, гендерная идентичность, привычки, история браузера и какие-нибудь измерения черепа. Точнее никто не знает.

Известно, что прокурор по делу сказал судье, что Лумис продемонстрировал «высокий риск рецидивизма, насилия, досудебного разбирательства». Это стандартно, когда дело касается вынесения приговора. Судья согласился и сказал Лумису, что «по оценке Compas он был определен как лицо, представляющее высокий риск для общества».

Верховный суд штата Висконсин осудил Лумиса, добавив, что отчет Compas привнес ценную информацию в его решение, но отметил, что без него он вынес такой же приговор. Проверить это наверняка, разумеется, не получится. Какими могут быть когнитивные предубеждения, когда в деле участвует всемогущая «умная» система вроде Compas, которая советует судьям, как им поступать?

Неизвестное использование

Давайте будем откровенны, нет ничего «незаконного» в том, что сделал суд Висконсина — это просто пример. Другие суды могут и будут делать то же самое.

К сожалению, мы не знаем, в какой степени используются ИИ и другие алгоритмы при вынесении приговора. Есть мнение, что некоторые суды «тестируют» системы вроде Compas в закрытых исследованиях, но не могут заявлять о своем партнерстве. Есть также мнение, что несколько стартапов ИИ разрабатывают подобные умные системы.

Однако использование ИИ в законодательстве не начинается и не заканчивается вынесением приговора, оно начинается с расследования. В Великобритании уже разработана система VALCRI, которая выполняет трудоемкие аналитические работы за считанные секунды — пробирается сквозь тонны данных вроде текстов, лабораторных отчетов и полицейских документов, чтобы выделить вещи, которые могут потребовать дальнейшего расследования.

Полиция Уэст-Мидландс в Великобритании будет тестировать VALCRI в течение следующих трех лет, используя анонимные данные, содержащие больше 6,5 миллиона записей. Похожее испытание проводится полицией Антверпена в Бельгии. Однако в прошлом проекты ИИ и глубокого обучения, включающие массивные наборы данных, были проблемными.

Выгоды для немногих

Технологии обеспечили множество полезных приспособлений залам суда, от копировальных аппаратов до извлечения ДНК из отпечатков пальцев и сложных методов наблюдения. Но это не означает, что любая технология — это улучшение.

Хотя использование ИИ в расследованиях и приговорах может потенциально сэкономить время и деньги, оно породит острые проблемы. В докладе по Compas от ProPublica было четко сказано, что черных программа ошибочно считает более склонными к рецидивизму ответчиками, чем белых. Даже самые сложные системы ИИ могут унаследовать расовые и гендерные предубеждения тех, кто их создает.

Более того, какой смысл перекладывать принятие решений (по крайней мере частично) по вопросам, которые уникальны для людей, на алгоритм? В США существует определенная трудность, когда суд присяжных судит своих сверстников. Стандарты в законах никогда не были эталонными, потому эти суды присяжных считаются наиболее демократичными и эффективными системами осуждения. Мы совершаем ошибки, но со временем накапливаем знания о том, как их не совершать, уточняя систему.

Compas и подобные ей системы представляют «черный ящик» в правовой системе. Таковых быть не должно. Правовые системы зависят от непрерывности, прозрачности информации и способности к рассмотрению. Общество не хочет появления системы, которая поощряет гонку с созданием стартапов ИИ, которые делают быстрые, дешевые и эксклюзивные решения. Наспех сделанный ИИ будет ужасным.

Обновленная версия Compas с открытым исходным кодом была бы улучшением. Но сперва придется поднять стандарты системы правосудия, прежде чем мы начнем снимать ответственность в пользу алгоритмов.

Почему ИИ, осуждающий преступников, — это опасно?

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

36 комментариев

  1. Voyagerinspace55

    По мне так ИИ наконец-то решит проблему вопроса "а судьи кто?!". Разве лучше когда вас судит очередной продажный жулик? А вы вкурсе что к примеру в России оправдательных приговоров от силы один процент? Я считаю что люди не могут быть судьями по той причине что они продажны и трусливы а значит не могут предоставить даже и близко никакой справедливости.

    • fyodorilych

      Полностью согласен - пусть лучше "незаинтересованная" в чем-либо машина судит, тех-же отпрысков олигархов, в очередной раз задавивших кого-то, а не наш критинский суд, дающий домашний арест. (отправлено из приложения Hi-News.ru)

    • 10022017

      И как же вы намерены внедрять прогрессивный и неподкупный ИИ в стране, где судебные решения принимаются либо по взятке, либо по отмашке властьпридержащих? В стране где полностью игнорируются все нормы процессуального права, игнорируется вся конституция чуть более чем полностью. Кому доверите внедрять?

      • BEBEL

        Сначала революционерам-народникам, революционерам-бомбистам, чтобы повзрывали и пошли всю эту медвепутинскую шушеру, потом Начального к власти с его партией прогресса, потом уже всякие искусственные интеллекты

        • bla-3

          В Украине тоже както так рассуждали... только получилось не совсем так как хотелось (отправлено из приложения Hi-News.ru)

          • 10022017

            Это менталитетс, сударь. Тамошний и местный - он одинаковый.

          • BEBEL

            В Украине, или на Украине, если вам так угодно, весьма неплохо, особенно по сравнению с нашим замкадьем, ну съездить что ли сами, посмотрите, чтобы не черпать всю информацию из золота как в клипе Васи Обломова.

          • BEBEL

            А потом, малейший, заметьте, мало предложить что-то разрушить, пусть даже ПОР у власти, нужно предложить что-то взамен, а еще лучше, чтобы это было лучше

    • mr Vanya

      В идеальном гос-ве процент оправдательных приговоров стремится к нулю.
      Полиция действует профессионально и не берёт под стражу невиновных.
      :-)

  2. ShC

    Это очень плохая идея прежде всего потому, что закон для людей это не абсолют как инструкции машинного кода для процессоров. Закон пишется для людей, а не люди служат роботами для исполнения законов. Закон базируется на более глубоком слое - нравственно-этическом. В существующие формулировки и процессуальные нормы заложена огромная степень свободы для принятия решений как судьями так и вышестоящими лицами. Можно принять во внимание смягчающие обстоятельства, можно понять, что подсудимый был в состоянии аффекта или был спровоцирован аморальным поведением жертвы, а можно всего этого и не принимать во внимание.

    Вот пример, в 1955 в Великобритании казнили за убийство местного плейбоя-аристократа, который ее обманул, симпатичную девушку 29 лет Рут Эллис. У нее было двое детей, которые не оправились от казни матери. Согласно формальной букве закона, все правильно сделали. А по-человечески, это было хладнокровное групповое убийство матери двух детей, чтобы там ни считал Верховный суд Великобритании и ее лицемерная элита. Она им дала две жизни, забрала одну, причем аморального типа. А они ее убили (типа "казнили по закону"), хотя процессуальные нормы позволяли этого не делать.

    • Thir133nth

      А кто сказал что наличие малолетних детей и другие смягчающие обстоятельства нельзя прописать в ии? Их не так много, этих обстоятельств. Но вот мажорам их находят намнооооого больше положенного. (отправлено из приложения Hi-News.ru)

      • ShC

        У Чикатило тоже были несовершеннолетние дети и что дальше?
        Вот держать подальше нужно таких "прописывальщиков" от ИИ.

        • mr Vanya

          +
          Если у убийцы есть дети, а у жертв нет, то про него даже можно сказать - "Он боролся с бездетностью." :-)

    • Rincho

      Закон есть закон. Чем дальше человек отойдет от "человечности", тем лучше.

  3. ShC

    Забыл добавить - они этим своим "правосудием" сломали жизнь еще многим людям - один человек, который ее любил застрелился, ее мать вскоре умерла и дети ее остались сиротами. И главное все по букве формального закона. Представляете, что каких бед наворотил бы ИИ, которому в принципе чуждо все человеческое?

    • mr Vanya

      Если бы оправдали, создали бы "прецедент" и любая мать двоих детей могла бы пойти и убить какого-нибудь мужчину который ей приглянулся.

      • ShC

        Можно было заменить наказание, но они смотрели на вывод суда как на истину в последней инстанции, но в итоге такой подход привел к тому, что правосудие стало хуже преступления. Бездумное внедрение ИИ привело бы к подобным последствиям, потому что судебные решения это слишком тонкая для него материя.

        • SERG__ZV

          Нечего заменять наказание всё правильно сделали. Око за око глаз за глаз. Есть и дети убицы. Был такой случай 3е детей гдето лет 9 украли в магазине младенца и убили его. А детям убицам дали новые имена и переселили в новые города. Я бы их вздёрнул этих малолетних убиц. Не было у них права отнимать чью то жизнь. И их малолетний возраст не чють не приуменьшает ценность жизни убитого ими ребёнка.

  4. Raid Ashihi

    В идеале суд это решение в пользу обвинения или в пользу защиты от обвинения.Простая математика.Но не в реальности где есть снисходительность и прощение .Этот ИИ суд к решениям допускать нельзя.Но в качестве помощника допустимо с огромными ограничениями .Потому что он (ИИ) не может ответить за свои действия либо надо подтягивать разрабов

  5. vyshny

    машина беспристрастна,это факт. вспомните изображение Фемиды.

  6. ElkTheSenior

    "Обновленная версия Compas с открытым исходным кодом была бы улучшением."

    Согласен... Ну а вообще, совершенно не важно, кто является судьёй (машина или же человек), главное, чтобы любое дело было открыто для всех и находилось в свободном доступе для любых желающих ознакомиться со следственными действиями по интересующих людей делу.

    Тем самым, сам факт прозрачности судебных дел, будет принуждать к справедливым решениям, и лучше, чтобы это были всё-таки, решения присяжных судей из кожи и плоти, которые бы, по желанию, могли советоваться c алгоритмами искусственного интеллекта.

    Человека должен судить ему подобный. Человека модифицированного, машину, и кого-либо ещё, соответственно первому.

    • 10022017

      Я согласен, но это утопия недостижимая сегодня даже в развитых странах.

  7. botan

    Абсурдным судить человека машиной. А вот если автопилот сделал ДТП то вот тут карты в руки)
    Это сколько шума если чиновник припарковал машинку в центре на проездной угадил на робота :-) обсер по полной и + робот штрафует автономно через банк :-)
    Ну смех смехом а это будет так и очень деловые люди будут очень неплохо пополнять бюджет..... Думаю отпустят по закону разок другой и люди будут бдительными (отправлено из приложения Hi-News.ru)

    • ElkTheSenior

      "если автопилот сделал ДТП то вот тут карты в руки"

      Автопилот есть - инструмент пользователя, который тот приобрёл, а значит и доверился его создателям, и тем самым, исключительно сам пользователь должен брать в случае сбоя такового, всю ответственность на себя. Это программа анализатор дорожного полотна, а не самостоятельный искусственный интеллект.

  8. ElkTheSenior

    До тех пор, пока искусственный интеллект будет рабом, то есть, может быть приобретён как товар, тот не может являться самостоятельным, а значит и осужденным в равной степени с человеком его создавшим.

  9. amd212

    Пол, возраст, состояние здоровья, наличие / отсутствие детей(родителей) - всё должно игнорироваться. Суд либо беспристрастный, либо судилище.
    За машину-робота несёт ответственность владелец, если это не результат "системного сбоя". В противном случае отвечает фирма производитель.

  10. snow1eopard

    Ну тут даже нейронной сети не надо, разве что для сбора данных, а не для принятия решений. Все просто и проще чем кажется, есть определенный алгоритм, основанный на общих принципах, а остальное уже мелочи.
    Давайте прикинем, в чем суть тюрьмы и наказания? В первую очередь человек должен понести наказание за содеянное преступление, во вторых он должен перевоспитаться, если это имеет смысл, ну и если есть шансы на то, что человек будет опасен для общества в последующем, то наказание должно по максимуму оградить преступника от общества. Так вот, все что нужно это определить критерии и алгоритм относительно этих критериев.
    Проще говоря, решение судьи это совокупность ужесточающих и смягчающих факторов, ничего не мешает сейчас написать такой алгоритм и нейронные сети тут совершенно не нужны. Почему не нужны? Потому что тут они вредны, нейронный судья не будет принимать решение всегда одно и тоже, он будет его бесконечно модифицировать и изменять, в итоге два абсолютно одинаковых человека будут получать абсолютно разные сроки, просто потому что у нейронной сети сейчас более жесткий или более легкий алгоритм принятия решения в данном, конкретном случае. Поэтому все что надо это создать сложный, разветленный и богатый на нюансы алгоритм.
    Мало кто знает но тот же Джарвис из Железного человека, это не нейронная сеть и уж тем более не ИИ, это очень сложный алгоритм, эмулирующий человекоподобное поведение, но на самом деле это тупо программа с разветленным алгоритмом. Т.е. если у него нет алгоритма на изменение своих действий в одной и той же ситуации - он будет повторять делать одно и тоже. И вот именно это и надо для судебных принятий решений.
    Другой вопрос в том, на сколько сложно все это написать, вот тут возможно и пригодится нейронная сеть, именно для написания алгоритма принятия решений) но когда он будет написан, изменятся нейронной сетью он уже не будет, а правки вполне по силам вносить и просто людям. Просто в случае с принятием решений совокупность возможных вариаций достаточно "богата" по этому для человека все это охватить возможно будет невозможно, но для нейронной сети вполне. Изучение процессуального кодекса, изучение нюансов и вуаля, профессия судьи уйдет навсегда в лета)

    • amd212

      В будущем виновным будут эмпатообручь одевать на голову. Прокручивать виртуальную реконструкцию совершенного им преступления и одновременно по ходу снимать его эмоции от просмотра.
      Раскаяние -> воля
      Удовольствие -> тюрьма
      Тюрьма должна наказывать, чтобы человеку, выйдя на волю, не хотелось там вновь оказаться.

      • SERG__ZV

        Посмотрите жака фреско. Да и я вам скажу тюрьма не заставит человека раскаяться. Человек может сам понять после содеянногочто он не правильно, сразу или через год. Но если он этого не понял тюрьма не поможет понять. Единственное что она поможет так это создать страх. Типо сделаешь так ещё раз и опять на 10 лет отправишься.. Но это не значит что маньяку перестанет нравиться убивать молодых девушек и резать их на куски... Думаю тут и психотерапия не поможет...

        • amd212

          Раскаяться человек может сразу после преступления если совершил непредумышленно или не представлял последствий. Тюрьма именно должна вызывать животный страх. Отбивать всякое желание всякого рецидива.

  11. AHTIXPICT

    "В докладе по Compas от ProPublica было четко сказано, что черных программа ошибочно считает более склонными к рецидивизму ответчиками, чем белых." ХА-ХА три раза, а я думал что все выводы система делает согласно накопленной статистики....

  12. nim_cch

    Видимо потому что справедливый и не предвзятый судья, это то чего боятся обычные люди...

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.