Может ли один человек уничтожить мир?

Оружие апокалипсиса сейчас — привилегия мировых держав. Но это может измениться. В течение нескольких десятилетий небольшие группы или даже отдельные люди смогут получить в свои руки убийственные технологии в любом количестве. Как бы это жутко ни звучало, мир может быть уничтожен небольшой группой или лицом, действующим в одиночку. И вот как.

Чтобы узнать больше об этой мрачной возможности, ресурс io9 обратился за консультацией к двум экспертам, которые развивают эти варианты. Филипп ван Недервельде, офицер в запасе подразделения ACOS Strat бельгийской армии, обучался ядерно-биолого-химической защите. Он футуролог и эксперт по вопросам безопасности со специализацией на глобальных рисках, в вопросах уничтожения, наблюдения и конфиденциальности и среди прочего участвует в P2P Foundation. Джеймс Баррат — автор книги «Наши последние изобретения: искусственный интеллект и конец человеческой эпохи», которая рассматривает риски, связанные с появлением сверхмощного машинного интеллекта.

Как ван Недервельде, так и Баррат, оба обеспокоены тем, что мы не принимаем эту возможность достаточно серьезно.

«Подавляющее большинство людей сегодня пребывает в счастливом неведении о том, что мы на самом деле находимся в реальной опасности», — говорит ван Недервельде. — «В то время как важно оставаться на расстоянии от раздутых слухов и чрезмерного паникерства, голые факты говорят о том, что мы явно и непосредственно находимся в смертельной опасности. Что может быть хуже, если наступит время идеальной бури, которая возникнет на почве нарастающих рисков существования человека?».

Если мы хотим выжить в ближайшие несколько тысячелетий, говорят они, нам нужно в ближайшие несколько десятилетий обеспечить максимальную безопасность, какую мы только можем себе позволить.

Выбор оружия

Будучи видом, проживающим в безразличной вселенной, мы сталкиваемся как с космическими, так и антропогенными рисками, то есть можем погибнуть от своей руки. Как, собственно, и положено цивилизации нашего типа, живущей на пороховой бочке в виде ядерного оружия.

Согласно ван Недервельде, наиболее серьезные антропогенные риски включают пандемию биоатаки, мировой размен термоядерными бомбами, появление недружелюбного искусственного сверхинтеллекта и призрак оружия массового поражения на базе нанотехнологий.

«Угроза биологической атаки или злокачественной техногенной пандемии может появиться в относительно краткосрочной перспективе», — говорит он.

В самом деле, сравнительно недавно, а именно в 20 веке, прецедент показал нам, насколько серьезной может быть «просто» природная пандемия: в 1918 году испанский грипп погубил от 50 до 100 миллионов человек. В то время это было 2,5-5 процентов от всего населения земного шара.

«Человечество разработало технологии, необходимые для разработки эффективных и действенных патогенов», — рассказал источнику ван Недервельде. — «Мы располагаем ноу-хау, необходимым для оптимизации и улучшения потенциала вредоносных патогенов. Такое оружие может успешно погубить практически все человечество».

Что касается прогнозируемых будущих форм оружия на базе нанотехнологий, теоретик наномедицины Роберт Фрейтас приводит различие между «серой пылью», «серым планктоном», «серым лишаем» и так называемыми убийцами биомассы. Это вариации угрозы серой слизи — адского сценария, в котором самовоспроизводящиеся молекулярные роботы полностью съедают ресурсы Земли, критические для выживания человека, вроде атмосферы.

Серая пыль могла бы полностью блокировать солнечный свет. Серый планктон мог быть выращен на морском дне с целью пожрать богатую углеродом экологию. Серые лишайники могут уничтожить наземную геологию, а убийцы биомассы могут атаковать различные организмы.

И наконец, как отмечает Баррат, есть угроза искусственного сверхинтеллекта. В течение нескольких десятков лет ИИ может превзойти человеческий на несколько порядков. И после появления он может бороться за выживание, как мы, либо быть плохо запрограммированным. Мы будем вынуждены конкурировать с соперником, который превышает наши возможности в масштабах, которые мы вряд ли сможем представить.

Уничтожение большего меньшими силами

Короткометражный фильм на тему превосходства искусственного интеллекта, обеспечивший работу в Голливуде своему создателю.

Очевидно, многие из этих технологий, если не все, будут разработаны с учетом огромных вложений и ресурсов государственных учреждений и крупнейших корпораций. Но это не означает, что чертежи подобных вещей не попадут в конечном итоги в руки неблагоприятно настроенных групп, или что они сами не смогут придумать подобное.

Пентагон в курсе этого. Еще в 1995 году адмирал Дэвид Е. Иеремия из Американского объединенного комитета начальников штаба сказал следующее:

«Где-то в глубине души я все еще храню портреты пяти умных ребят из Сомали или другой неразвитой страны, которые видят возможность изменить мир. Чтобы перевернуть мир с ног на голову. Военное применение молекулярного производства обладает большим потенциалом, чем ядерное оружие, и может радикально изменить баланс сил».

И как заявлял Совет национальной безопасности США, «мы под угрозой не столько флотов и армий, сколько перед катастрофическими технологиями в руках озлобленных меньшинств».

В этом контексте ван Недервельде рассказал об «асимметричной разрушительной мощи» (Asymmetric Destructive Capability, ADC).

«Это означает, что с развитием технологий требуется все меньше и меньше, чтобы уничтожить все больше и больше», — рассказал он. — «Масштабные разрушения становятся все более вероятными при условии неизмеримо малых ресурсов. Эта асимметрия растет экспоненциально, благодаря NBIC».

NBIC, как объяснил ван Недервельде, это конвергентные последствия четырех важнейших технологических секторов, а именно: нанотехнологий (манипуляций с материей на молекулярном уровне, включая появление радикально новых материалов, лекарственных препаратов и робототехники), биотехнологий, информационных технологий и когнитивной науки.

По оценке экспертов в разработке нанороботов, ресурсы, необходимые для разработки и развертывания нанооружия массового поражения, могут быть доступны уже к 2040 году, плюс-минус 10 лет.

«Чтобы реализовать это, небольшой определенной группе, ищущей массовых разрушений, нужны будут следующие относительно скромные ресурсы: рабочее нанопроизводственное оборудование, способное создать семена «реплиботов»; четыре посредственных наноинженера со степенью кандидатов наук; четыре рабочих суперкомпьютера; четыре, а возможно меньше, месяца на разработку; четыре точки рассеивания, учитывающие глобальные ветра».

Ученый описывает это как «ADC на стероидах»:

«По сравнению с технологическим настоящим, будущее нанотехнологичное оружие массового поражения заткнет за пояс ядерное, как незначительную мелочь».

Одиночки массового поражения

Ван Недервельде также предупредил о SIMAD, «массово разрушительных одиночках» (Single Individual MAssively Destructive).

«Если вы думаете, что ADC это логический конец наших умозаключений, у нас меньше опасений касательно небольших террористических организаций вроде Аль-Каиды и типа того, нежели об умных людях, которые хранят глубоко укоренившуюся насильственную обиду на человеческое общество или человеческий вид», — говорит он.

Отличный пример — Унабомбер. Теперь представьте себе такого «унабомбера», вооруженного «наукой на стероидах», усовершенствованной NBIC-технологиями. Такой человек будет обладать потенциалом сеять разрушения и смерть в огромных масштабах: города, региона, континента, а возможно и целой планеты.

«SIMAD — один из рисков, который волнует меня больше всего», — говорит ван Недервельде. — «Я не могу спать из-за этого».

Ресурс спросил Баррата, может ли человек в одиночку создать массово разрушительный искусственный интеллект.

«Я не думаю, что один человек может на самом деле создать ИИ сильным достаточно, чтобы стать катастрофическим», — ответил он. — «Программное обеспечение и аппаратные проблемы в создании общего искусственного интеллекта (AGI, ОИИ), а далее и работоспособного искусственного сверхинтеллекта (ASI, ИСИ), по масштабам и сложности приближаются к Манхэттенскому проекту по созданию атомной бомбы (на который было потрачено в общей сложности 26 миллиардов долларов), чем к прозрениям «одиноких гениев» вроде Теслы, Эдисона и Эйнштейна».

Баррат также сомневается, что небольшая команда сможет это реализовать.

«У конкурентов в этой гонке глубокие карманы — IBM, Google, Blue Brain Project, Darpa, NSA. Я сомневаюсь, что небольшая группа сможет сделать ОИИ, и уж точно не в рядах первых».

Причина, говорит Баррат, заключается в том, что все конкуренты — большие, малые, невидимые и напуганные — питаются знанием того, что массовый ОИИ — или человеческий интеллект по цене компьютера — будет самой прибыльной и революционной технологией в мировой истории. Представьте банки тысяч «мозгов» уровня кандидата наук, которые решают проблемы рака, моделируют климат и разрабатывают оружие.

«В случае ОИИ общий финансовый вклад получит право ответа за угрозу существованию», — говорит Баррат.

Баррат говорит, что в этой гонке, особенно для инвесторов, наиболее привлекательными являются масштабы достижений, которые будут открыты, и основной интерес к этому питают корпоративные гиганты.

«Небольших групп с небольшой историей не так уж много», — говорит он. — «В команде IBM, работающей над Watson, всего 15 основных членов, но у них также была поддержка девяти университетов и самой IBM. Плюс зарождающаяся когнитивная вычислительная архитектура IBM убедительна. Небольшие группы обладают потенциалом роста, но у них мало рычагов. Я думаю, IBM одолеют тест Тьюринга к 2020 году, вероятно с компьютером под названием Тьюринг, да».

К сожалению, это не исключает возможность того, что в конечном счете зловредная террористическая группа сможет получить в свои руки некоторые части изысканного кода, добавить необходимые настройки и после развязать собственную цифровую инфраструктуру в мире. Пусть она не будет апокалиптической по своему масштабу, но она все еще может быть потенциально разрушительной.

Есть также возможность того, что хитрая команда или человек при помощи элементарного искусственного интеллекта сможет разработать мощный машинный интеллект. При помощи ИИ, которые будут делать львиную долю работы, это вполне возможно. Или же могут быть и другие каналы, пока нам не известные. Вполне вероятно, что небольшая команда сможет развязать руки ОИИ, но за долгое-долгое время.

Самозащита

Чтобы совсем не загрустить, стоит также поговорить и о профилактических мерах. Один из способов, которым мы могли бы защитить себя от этих угроз, является превращение всего общества в тоталитарное полицейское государство. Но едва ли кто захочет. Поэтому io9 обратился к ван Недервельде и Баррату, чтобы узнать, что еще можно сделать.

«Хорошие новости в том, что мы не полностью беззащитны перед этими угрозами», — говорит ван Недервельде. — «Меры предосторожности, профилактика, раннее предупреждение и эффективные оборонительные контрмеры вполне возможны. Большинство из них даже не «драконовские», но могут обеспечить постоянную бдительность».

Исследователь предвидит психологическое наблюдение за людьми, которые демонстрируют устойчивое и значительно девиантное поведение в образовательных системах и других учреждениях.

«Это что-то вроде психологической иммунной системы на уровне всего человечества: постоянное наблюдение за SIMAD-унабомберами поможет обнаружить их, когда они еще молоды, задолго до того, как они начнут приводить в порядок свои страшные планы. Чтобы положить этому конец, необходимо значительно улучшить наблюдение за поведением людей и здоровьем людей в целом».

Он также считает, что мировое правительство может быть усовершенствовано таким образом, что «организации вроде ООН и других транснациональных организаций будет эффективно реагировать соответствующим образом всякий раз, когда угроза существованию поднимает свою уродливую голову».

Также исследователь считает, что мы можем предвидеть атаки ADC или SIMAD, чтобы противостоять им по мере их возникновения. Чтобы защитить себя от боевых нанотехнологий, мы могли бы развернуть экстренную оборону типа искусственного тумана, солнечных отражателей, ЭМИ-вспышек и целенаправленного излучения.

Что касается защиты нас от скрытых ИИ, Баррат считает, что небольшие организации менее стабильны и нуждаются в надзоре больше, чем крупные.

«Но опять же, сейчас NSA с ее 50 миллиардами черного бюджета представляет для Америки куда большую угрозу, чем Аль-Каида и любые другие желающие обзавестись ОИИ. Мы инстинктивно знаем, что они будут не менее своенравными с ОИИ, если доберутся до него первыми».

Баррат предлагает два варианта, которые могут закрыть пробелы в безопасности:

«Создание глобального публично-приватного партнерства может обуздать стадо с амбициями создания ОИИ, чего-то вроде Международного агентства по атомной энергетике (МАГАТЭ). Пока организация будет создавать, нужно сформировать консорциум с глубокими карманами, который будет нанимать ведущих мировых исследователей сферы общего искусственного интеллекта. Убедить их в опасности неограниченного развития ОИИ и помочь им перейти на нашу сторону с предельной осторожностью. Или компенсировать их отказ от мечты создания ОИИ».

Тотальная слежка

Более радикальный ван Недервельде предложил идею «четырех E»: Everyone has Eyes and Ears Everywhere («у каждого есть глаза и уши везде»), которая может стать реальностью с другим акронимом: Panoptic Smart Dust Sousveillance (PSDS, «прозрачное наблюдение умной пыли»).

«Сегодня «умная пыль» отсылает нас к крошечным MEMS-устройствам под названием «пылинки», измеряемым одним кубическим миллиметром или меньше и способным к автономному зондированию, вычислению и коммуникации в беспроводной одноранговой ячеистой сети», — пояснил он. — «В не самом отдаленном будущем умная пыль может стать в буквальном смысле пылью размером в 50 кубических микрон или меньше, сможет парить в воздухе, как обычная пыль, и создавать мобильные умные облака с солнечным питанием».

Исследователь представляет, как в нижней части атмосферы Земли появляются умные пылинки со средней плотностью три пылинки на кубический метр воздуха. Эффективно развернутая, такая пыль сможет дать каждому из граждан свои глаза и уши, предоставляя «обратную подотчетность» во всем цивилизованном обществе.

«Если предположить, что большая часть наблюдений производится не людьми, а машинами, заточенными под определенные модели, это точно станет концом того, что я называю «абсолютной конфиденциальностью», — однако останется еще много возможностей для «относительной приватности». И это точно положит конец всяким SIMAD, террористическим атакам, концу жестокости и других форм насилия над детьми, женщинами, стариками всюду и везде».

Скорее всего это также поставит в тупик большинство форм коррупции и других преступлений. Можно будет создать окончательный вид того, что Дэвид Брин назвал «прозрачным обществом» или этический футурист Джамаис Каско — «общественным всевидением».

«Мы наконец найдем ответ на вопрос Ювенала во время римской античности: «Quis custodiet ipsos custodes», кто смотрит за смотрителями?», — говорит ван Недервельде. — «И ответом будет: мы, люди, граждане, сами — что вполне уместно, на мой взгляд».