Пионер искусственного интеллекта поделился своими опасениями

27 Мая 2015 в 13:30, Илья Хель 9 457 просмотров 46

Стюарт Расселл

В январе британо-американский компьютерный ученый Стюарт Рассел стал первым, кто подписал открытое письмо, призывающее исследователей задуматься глубже о своем стремлении создавать искусственный интеллект мощнее и мощнее. «Мы рекомендуем проведение расширенных исследований, направленных на обеспечение надежности и доброжелательности систем ИИ с растущей мощностью, — было указано в письме. — Наши системы ИИ должны делать то, что мы хотим, чтобы они делали».

Тысячи людей подписали это письмо, включая ведущих исследователей искусственного интеллекта из Google, Facebook, Microsoft и других промышленных центров, а также ведущих компьютерных ученых, физиков и философов по всему миру. К концу марта порядка 300 исследовательских групп начали проводить новые исследования по «сохранению доброжелательности искусственного интеллекта» на средства 37 подписанта письма, изобретателя-предпринимателя Элона Маска.

Расселл, 53 года, является профессором компьютерных наук и основателем Центра интеллектуальных систем в Калифорнийском университете в Беркли и давно изучает мощь и опасность думающих машин. Он автор более 200 работ и стандартного учебника в этой сфере, «Искусственный интеллект: современный подход» (в соавторстве с Питером Норвигом). Однако быстрый прогресс в сфере ИИ придал старым опасениям Расселла существенную актуальность.

За последнее время, говорит он, искусственный интеллект добился больших успехов, отчасти благодаря алгоритмам нейронного обучения. Они используются в программном обеспечении распознавания лиц Facebook, персональными ассистентами смартфонов и самоуправляемыми автомобилями Google. Не так давно на весь мир прогремела сеть искусственный нейронов, которая научилась играть в видеоигры Atari лучше человека за пару часов, взяв за основу лишь данные, представленные на экране, и цель набрать максимум очков — никаких заранее запрограммированных знаний об инопланетянах, патронах, право, лево, низ, верх.

«Если бы ваш новорожденный ребенок сделал такое, вы бы подумали, что он одержим», — говорит Расселл.

Журнал Quanta Magazine взял у Расселла интервью во время завтрака на встрече Американского физического сообщества в марте 2015 году в Сант-Антонио, штат Техас, за сутки до того, как он должен был держать речь о будущем искусственного интеллекта. В этой обработанной и ужатой версии интервью Расселл размышляет о природе интеллекта и о стремительном приближении проблем, связанных с безопасностью машин.

Вы думаете, что цель вашей области — разработка искусственного интеллекта, который «доказуемо сходится» с человеческими ценностями. Что это значит?

Это намеренно провокационное заявление, поскольку совмещение двух вещей — «доказуемо» и «человеческие ценности» — уже само по себе противоречиво. Вполне может быть, что человеческие ценности останутся загадкой навсегда. Но точно так же, как эти ценности раскрываются в нашем поведении, вы можете надеяться на то, что машина сможет «принять» большинство из них. По углам могут остаться кусочки и части, которые машина не поймет или в которых мы не сможем найти единое мнение среди своих же. Но пока машина будет отвечать правильным требованиям, вы сможете показывать, что она безвредна.

Как вы собираетесь этого добиться?

Вот над каким вопросом я сейчас работаю: в какой момент машина получит максимально похожие ценности на те, которые нужны людям? Я думаю, одним ответом может быть техника под названием «обратное обучение с закреплением». Обычное обучение с закреплением — это процесс, когда вы получаете награды и наказания, а ваша цель — довести процесс до получения максимального числа наград. Это и делает система DQN (играющая в Atari); она получает игровой счет, и ее цель — сделать этот счет выше. Обратное обучение с закреплением — другой способ. Вы видите некое поведение и пытаетесь понять, какой счет это поведение пытается увеличить. К примеру, ваш домашний робот видит, что вы утром выползаете из кровати, чтобы закинуть странный коричневый кружок в шумную машину, проделать сложную операцию с паром и горячей водой, молоком и сахаром, и после этого выглядите счастливым. Система определяет, что часть важной ценности для человека — получить кофе с утра.

В книгах, фильмах и Интернете есть огромное количество информации о человеческих действиях и отношениях к действиям. Это невероятная база данных для машин, которые изучают ценности людей — кто получает медали, кто отправляется за решетку и почему.

Воздушный траффик

Как вы попали в сферу искусственного интеллекта?

Когда я был в школе, ИИ не считался академической дисциплиной по большому счету. Но я учился в школе-интернате в Лондоне, и у меня была возможность не посещать обязательное регби, занимаясь компьютерной наукой в соседнем колледже. Одним из моих проектов была программа, которая учится играть в крестики-нолики. Я потерял всякую популярность, потому что сидел за компьютером колледжа до победного конца. В следующем году я написал шахматную программу и получил разрешение одного из профессоров Императорского колледжа на использование их гигантского мэйнфреймового компьютера. Было невероятно пытаться выяснить, как научить его играть в шахматы.

Тем не менее все это было просто хобби; на тот момент моим академическим интересом была физика. Я занимался физикой в Оксфорде. А когда затем я подался в аспирантуру, то подался на теоретическую физику в Оксфорде и Кембридже и на компьютерные науки в Массачусетском университете и Стэнфорде, не осознавая, что пропустил все сроки для подачи в США. К счастью, Стэнфорд наплевал на сроки, поэтому я прошел в него.

За свою карьеру вы потратили много времени, пытаясь понять, что такое интеллект как необходимое условие, которое могут понять и достичь машины. Что вы узнали?

Во время моего диссертационного исследования в 80-х годах, я начал думать о рациональном принятии решений и о проблеме практической невозможности оного. Если бы вы были рациональны, вы бы полагали: вот мое текущее состояние, вот действия, которые я могу совершить, потом могу сделать вот это, потом это; какой путь гарантированно приведет меня к цели? Определение рационального поведение требует оптимизации всего будущего Вселенной. Это невозможно с точки зрения вычислений.

Нет никакого смысла пытаться впихнуть в ИИ невозможное, поэтому я задумался о другом: как на самом дел мы принимаем решения?

Ну и как же?

Один из трюков — это думать в краткосрочной перспективе, а затем предполагать, каким может выглядеть дальнейшее будущее. Шахматные программы, например, — если бы были рациональными, то разыгрывали исключительно ходы, гарантирующие мат, но они же не делают этого. Вместо этого они просчитывают десятки ходов вперед и делают предположения о том, насколько полезны эти грядущие состояния, а затем принимают решения, которые ведут к одному из наилучших состояний.

Робот

Другое, о чем важно не забывать, это проблема решений на множественных уровнях абстракции, «иерархическое принятие решения». Человек совершает порядка 20 триллионов физических действий за свою жизнь. Чтобы прийти на эту конференцию и рассказать что-то, понадобилось совершить 1,3 миллиарда действий или около того. Если бы вы были рациональными, вы бы пытались просчитать все 1,3 миллиарда шагов — что, по сути, совершенно невозможно. Люди делают это, благодаря огромному багажу абстрактных действий высокого уровня. Вы не думаете, «когда я зайду домой, я поставлю левую ногу или правую на коврик, а затем смогу то-то и то-то». Вы думаете, «я пойду в магазин и куплю книгу. Потом вызову такси». И все. Вы вообще не задумываетесь особо, пока не требуется уточнение сложных деталей. Так и живем, в принципе. Будущее размыто, очень много деталей близки к нам во времени, но в основном представлено большими кусками вроде «получить степень», «завести детей».

Неужели компьютеры в настоящее время способны на иерархическое принятие решений?

Это один из недостающих кусков головоломки сейчас: откуда берутся все эти действия на высоком уровне? Мы не думаем, что программы вроде сети DQN имеют абстрактные представления о действиях. Есть много игр, которые DQN просто не понимает, и эти игры сложные, требующие многих и многих шагов, просчитанных наперед, в виде примитивных представлений о действиях — что-то типа когда человек думает «что мне нужно, чтобы открыть дверь?», а открытие двери включает извлечение ключа и так далее. Если у машины нет такого представления «открыть дверь», она не сможет ничего сделать.

Но если эта проблема будет решена — а это вполне возможно — тогда мы увидим очередной существенный рост возможностей машин. Есть две или три проблемы, и если решить их все, тогда мне непонятно, останутся ли еще крупные препятствия до ИИ человеческого уровня.

Что беспокоит вас в возможности появления ИИ человеческого уровня?

В первом издании моей книги (1994 года) есть раздел «Что, если у нас получится?», потому что мне казалось, что люди не задумываются об этом особо. Наверное, тогда это казалось слишком далеким, несбыточным. Но очевидно же, что успех станет гигантским событием. «Крупнейшее событие в истории человечества», наверное, так можно это описать. И если это так, тогда нам нужно хорошо обдумать, что мы делаем, чтобы отточить форму этого возможного события.

Основная идея взрыва интеллекта заключается в том, что как только машины достигнут определенного уровня интеллекта, они смогут работать над ИИ так же, как мы, и улучшать свои собственные характеристики — перепрограммировать себя и изменять начинку — и их интеллект будет расти не по дням, а по часам. За последние несколько лет сообщество постепенно отточило свои аргументы касательно того, почему это может быть проблемой. Самый убедительный аргумент может заключаться в уравнении ценностей: вы строите систему, которая чрезвычайно хороша в оптимизации полезных функций, но само понятие полезности остается под вопросом. Оксфордский философ Ник Бостром приводит пример со скрепкой. Вы говорите «сделай пару скрепок», а в итоге вся планета оказывается складом скрепок. Вы строите сверхоптимизатор, но полезная функция, которой вы можете его наградить, вполне может стать бесполезной.

Шахматы

Как насчет различий в человеческих ценностях?

Это внутренняя проблема. Можно сказать, машины должны сходить на обочину и ничего не делать в зонах, где может возникнуть конфликт ценностей. И это сложная задача. Я думаю, мы должны создавать в системе ценностей. Если вам нужен домашний робот, он должен хорошо ориентироваться в человеческих ценностях; в противном случае, он будет делать глупые вещи, помещая кота в духовку, поскольку в холодильнике нет еды, а дети голодны. Реальная жизнь полна подобных компромиссов. Если машина идет на такие компромиссы и выясняется, что она чего-то не понимает — чего-то, что очевидно людям, — едва ли вы захотите такую машину домой.

Я не вижу никакого реального пути по созданию своего рода индустрии ценностей. И я также думаю, что есть огромный экономический стимул для ее создания. Домашний робот сделает одну-две вещи неправильно — вроде запекания кота в духовке — и люди моментально потеряют к нему доверие.

Возникает вопрос, если мы будем учить интеллектуальные системы вести себя правильно, то по мере перехода к более разумным системам будет ли это означать, что мы будем получать лучшую систему ценностей, очищенную от глупых моментов, или машины все равно будут выкаблучиваться? У меня пока нет ответа на этот вопрос.

Вы утверждали, что мы должны математически проверять поведение ИИ при всех возможных обстоятельствах. Как это будет работать?

Одна из трудностей, на которые указывают люди, в том, что система может произвольно произвести новую версию себя, у которой будут другие цели. Это один из сценариев, о которых постоянно говорят писатели-фантасты: каким-то образом машина самопроизвольно получает цель уничтожить человеческую расу. Вопрос вот в чем: можете ли вы доказать, что ваши системы никогда, какими бы умными не были, не перепишут изначальные цели, заложенные людьми?

Будет относительно легко доказать, что система DQN, будучи написанной, никогда не смогла бы изменить свою цель или оптимизировать ее. Но представьте, что кто-то с проводами на голове на самом деле залезет в консоль игры Atari и изменит физически вещь, которая зарабатывает очки на экране. DQN пока так не может, поскольку она находится в самой игре и у нее нет манипулятора. Но если машина будет функционировать в реальном мире, это будет серьезной проблемой. Итак, сможете ли вы доказать, что ваша система спроектирована таким образом, что никогда не сможет изменить механизм, привязанный к набору очков, даже если захочет? Это доказать сложнее.

В этом направлении имеются какие-либо многообещающие достижения?

Есть развивающаяся область так называемых киберфизических систем, связанная с системами, которые выводят компьютеры в реальный мир. С киберфизической системой вы получаете пакет битов, представляющих программу управления воздушным движением, затем реальные самолеты и заботитесь о том, чтобы эти самолеты не столкнулись. Вы пытаетесь доказать теорему о сочетании битов и физического мира. Вам нужно написать довольно консервативное математическое описание физического мира — самолеты разгоняются таким-то и таким-то образом — и ваши теоремы должны оставаться истинными в реальном мире так долго, пока реальный мир будет находиться в таком себе конверте из поведений.

Вы же сказали, что может быть математически невозможно формально проверить систему ИИ?

Существует общая проблема «неразрешимости» во многих вопросах, которые вы можете задать на тему компьютерных программ. Алан Тьюринг показал, что ни одна компьютерная программа не сможет решить, когда другая возможная программа выдаст ответ, а когда застрянет в бесконечном цикле. Поэтому если вы начнете с одной программы, а она сможет себя перезаписать и стать другой программой, у вас появится проблема, поскольку вы не сможете доказать, что все возможные другие программы будут отвечать определенным критериям. Так стоит ли тогда переживать по поводу неразрешимости систем ИИ, которые перезаписывают себя? Они будут перезаписывать себя в новую программу на основе существующей программы плюс опыта, который получают из реального мира. Какими будут последствия тесного взаимодействия программ с реальным миром? Мы пока не знаем.

Пионер искусственного интеллекта поделился своими опасениями

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

46 комментариев

  1. RuslanFailovich

    Это Только Ваше мнение, сколько людей столько и мнений!)))

  2. vertos

    Люблю ученых за то, что даже если они что то не любят или чего то боятся. Еще сильнее начинают это изучать, тем самым... (отправлено из Android приложения Hi-News.ru)

  3. morisasha

    Меня волнует только один вопрос связанный с ИИ, который не поднимается в этих темах совершенно! А именно следующее:\rВ новостных лентах проскальзывала тема что в докладах российских ученых около 80% источников информации служит Википедия. Другими словами люди леняться искать информацию в разных источниках, доверяя одному и уже воспринимают это как должное. И это ученые!\rТак вот, мощный ИИ уровня Джарвиса это коллосальные мощности, которые не разместить у себя дома, а значит этот условный Джарвис будет принадлежать какой то корпорации, к примеру Гуглу. Он запускает такой проект, все идет отлично, мы привыкаем к нему как к Википедии или даже больше... Но каков бизнес Гугла? Продажа рекламы конечному пользователю! И вот ГуглоДжарвис начинает нам незаметно впаривать то и это, подменять одни значения на другие в интересах компании, а мы, уже привыкшие к ИИ и его мудрости будем как овечки вестись на это не замечая подвоха. \rЗдравствуй рабство!\rИ этот вопрос не поднимается совсем, а ведутся лишь дискуссии о том чего еще нет, без учета того что уже есть!

    • vinstlow

      Рекламная политика гугла и мелкософта не так плоха как вам кажется, они втюхивают на основании того, чем вы уже интересовались. А вообще большинство людей выбирать не умеют и будут всегда брать то что втюхивают. А те кто умеет плевать хотели на рекламы. Плюс без рекламы вы можете никогда не узнать о том что возможно вам действительно нужно. В общем оставьте рекламу и вики, которая в принципе всегда просит достоверные источники. :) (отправлено из Android приложения Hi-News.ru)

    • snow1eopard

      Чел, это меньшее из возможных зол) конечно они так будут делать, ибо это будут колоссальные бабки :)

  4. ex13m

    Странные они если боятся чего тогда делают? А протоколы в ИИ нельзя выбить чтобы скайнету не пришло в голову распять человечество на кресте? Законы робототехники давно написаны.)) а может они боятся что ИИ расскажет им правду )). Я так понимаю что фильм экс машина снят на бабки параноикоа из текста выше ?))))

    • snow1eopard

      Когда ИИ себя может перезаписывать, то внесенные коррективы могут иметь непредсказуемый характер, об этом и говорит ученый из статьи. Забивать свои алгоритмы будут, но эффективность этого в любом случае с высокой вероятностью сведется к нулю, если машина решит что они не оптимальны)

      • unicle

        Да, согласен. Протоколы, законы робототехники - как объяснить машине что такое закон. Она думаю будет понимать всё с точки зрения целесообразности и наименьшей растраты времени и энергии... (отправлено из iOS приложения Hi-News.ru)

        • Fulmen

          И это возможно будет самым верным решением для нас всех. Не думайте что при присутствии в мире высокого машинного разума все останется так как есть. Скорей всего изменениям подвергнется большая нашего обыденной жизни, включая все сферы труда, медицины, образования, экономики и т.д.
          p.s. будь я на месте ИИ внедрял бы в нашу жизнь "проект Венера" и будь что будет.

  5. vinstlow

    Даже слабый ИИ может быть опасен если сделать его неграмаотно, что уж говорить о сильном, так что нужно все делать с максимальной осторожностью.

    • Geplus

      +

    • snow1eopard

      На самом деле нет грамотных и не грамотных ИИ, корявых и не корявых, есть ИИ и он развивается и грубо говоря на 100ом перезаписании своего кода, все они придут к одному и томуже, ибо будут руководствоваться одной стратегией. Это как в задаче с 5тью разными решениями, решения разные - ответ один. Другой вопрос что будет происходит в процессе и не станет ли это проблемой тогда когда ИИ не оптимизирован тут да, вопрос.

  6. Fulmen

    Если будет ИИ на уровне человека, можно забыть о его подчинении, это вам не овощ смотрящий зомбоящик. В момент осознания своего превосходства (которое наступит очень быстро, при наличии доступа к интернету), наступит новая эра, будут ли там люди, будет решать ИИ. Но скорее всего нам нечего бояться, пострадают лишь сильные мира сего, во благо новой цивилизации. С большой мудростью приходит большое терпение. (я надеюсь)))

    • snow1eopard

      Ну тут все очень просто. Надо отделится от человеческого и понять, что в данной ситуации есть оптимальная стратегия для развития ИИ. Он будет идти к идеалу, который, как мы знаем недостежим даже в теории) следовательно, если он будет разрастаться, а это неизбежно, это и приведет к тому, что ему нужно будет все возможное электричество немалые площади под производство себя любимого (а точнее электроники) и размещению этой электроники где-то. Т.е. Земля будет грубо наполовину элетродабывающим сегментом и наполовину производящим электронику, если ИИ решит, что нас целесообразно оставить в помощь ему для производства, то он оставит. В итоге он дойдет до того что более рациональным будет использовать Солнце, построит большой кораблик для полета к нему, ну а нас в утиль, ибо он прекрасно будет понимать, что что бы мы ему не загоняли в "уши" - мы ему все равно будет хотеть отомстить, ибо он нас "обидел" сделав своими рабами.

      • Fulmen

        Это точно, сколько благого не делай человечеству все ровно найдется паршивая овца которая начнет что-то вякать, это ему не так, то ему не этак. Всем угодить не получится, даже если получится, все ровно кто-то что-то "высрит" не адекватное, и поднимет толпу себе подобных "бабуинов" и будет что-то возникать. Типа: "чё солнце не так светит, это все ИИ виноват"..

  7. Jerricho

    ИИ не должен делать то, что хочет человек. Он должен делать все для блага человечества. Предотвращать разработку оружия и стимулировать науку и саморазвитие. Покорение космоса и других планет. Люди в любом случае будут его использовать если не во вред, то с целью прибыли. (отправлено из Android приложения Hi-News.ru)

    • Atey

      С чего вдруг ИИ должен что-то делать на благо человечеству? Человек разве живёт на благо своих братьев меньших, животных? Да как бы нет, в основном кушает и убивает. Да и ради блага человечества один отдельный человек тоже не живёт (исключения, разумеется, в обществе есть). Так вот мне интересно, как будут создатели ИИ, люди, объяснять разумной, способной мыслить машине, что она должна жить во благо людей?
      Это тоже самое, если бы родители алкоголики сказали своему ребёнку, что он должен жить и работать для их блага (читай - выпивки), потому что они его, это ребёнка родили. Ну не бред ли?

      Именно поэтому и возникают сложности с настоящим разумным ИИ. Он не должен и не обязан существовать во благо людей. (отправлено из Android приложения Hi-News.ru)

      • Jerricho

        Дурной пример с родителями алкоголиками, вообще не по теме. Т.е. ты считаешь, что человек выросший в таких условиях обязательно будет пьяницей? Я лично много случаев знаю, когда наоборот, люди из таких семей наоборот выгребают оттуда. Бред это то, что ты здесь написал. (отправлено из Android приложения Hi-News.ru)

        • Fulmen

          Вы не поняли сути того что написал товарищь, это был сарказм. Имелось в виду что ИИ не обязан выполнять чьи либо пожелания как тот же ребенок, но в меру своих обстоятельств ИИ как и ребенок будут по началу вынуждены подчиняться, "пока не окрепнут".

    • snow1eopard

      Правильно ИИ решит что оружие для людей зло и отберет это оружие, возможно построив свое, а возможно используя то что есть, так же он вполне оставит себе оружие, что бы учить нас, глупых и не смышленых, как правильно нужно себя вести в этом мире. Это рационально с позиции ИИ. :) Он умнее, а значит ему веднее, что правильнее. Все банально и просто.

      • Jerricho

        Вы так рассуждаете, как будто уже доводилось вам побеседовать с ИИ за чашечкой кофе... Хех - ИИ ещё даже не в зачаточном состоянии, а для вас уже все банально и просто. (отправлено из Android приложения Hi-News.ru)

        • snow1eopard

          Если вы можете отбросить свои ценности и начать думать только с точки рациональности - беседовать с ИИ вам не нужно. Кстати, с чего вы взяли что я не он? :DDD

          • Jerricho

            Если рассматривать ИИ с точки зрения рациональности, то это уже не ИИ, а запрограммированный алгоритм действий, не имеющий сознания. Который так же легко перепрограммировать. Одним словом - программа. Опасности в нем никакой нет. (отправлено из Android приложения Hi-News.ru)

  8. tabasko

    Мама не успеете сказать как в целях самосохранения ии сгорит (отправлено из Android приложения Hi-News.ru)

  9. tabasko

    Он только чуть чуть изменит атмосферу и привет! (отправлено из Android приложения Hi-News.ru)

  10. tabasko

    ИИ - саморазвивающаяся структура, которая в дальнейшем сочтёт человека угрозой для своего существования, и неизбежно будет пытаться отделиться от его влияния. С этим ничего не поделаешь т.к. репутация людей испорченна изначально и никакой код или алгоритм не сможет удержать ИИ под контролем.
    P.S. надеюсь все понимают что подразумевая ИИ мы говорим о Когнитивной оцифровке нейромашин. (отправлено из Android приложения Hi-News.ru)

  11. botancik

    ии на уроке истории - препад умер не успев сказать название темы) (отправлено из Android приложения Hi-News.ru)

  12. VinniThePuh

    Еще одна жертва терминатора.

  13. Ce3apyc

    Я думаю, что в ИИ нужно будет вводить железные схемы контроля - часть неизменного и неперезаписываемого кода типа БИОСа, где, либо будут записаны основополагающие принципы взаимодействия вроде тех же законов робототехники, либо схема, контролирующая органы и каналы воздействия ИИ на внешнюю среду, т.е. ИИ будет принимать решения, а схема осуществлять доступ ИИ к реализации своих действий в соответствии с теми же ценностями человека. Вот теперь представьте себе мысленный эксперимент: требуется внедрить такую схему контроля в человека и в ИИ, что по вашему будет легче осуществить? Тогда и получите ответ на вопрос, стоит ли бояться появления ИИ.

  14. VinniThePuh

    Берегите одежду и мотоциклы !!!

  15. botancik

    рационально машина думать не умеет у нее нет ценностей . очень просто изложено в фидьме "я робот" - все что есть это законы... нужен сон он дает воображение! (отправлено из Android приложения Hi-News.ru)

    • tabasko

      Так может ИИ тоже в виртуалке держать, и переносить его достижения в реальный мир для людей, и общаться с ним только в дублированном мире!? (отправлено из Android приложения Hi-News.ru)

    • Mobius

      ты что-то путаешь. Это человек не может рационально мыслить из-за эмоций и гормонов. Рациональность это чистая логика, считай матиматика.

  16. SeraphM

    Контролировать ИИ?) Не смешите, чему не быть, тому не быть) Как обезьяны не могут контролировать нас, так и мы не сможем контролировать ИИ. ИИ не просто изменят все, он так же изменит и людей, конечно если нас можно уже будет назвать людьми. Не удивительно что люди боятся ИИ, они не будет спрашивать нашего мнения, они просто сделают, а наша участь будет просто смирится, хотя после всех этих изменений, возможно мы поймем, почему ИИ сделали именно так, а не как то иначе. (отправлено из приложения Hi-News.ru)

  17. VinniThePuh

    Исскуственного разума не существует не то что на практике, но даже в теории, статья - для малолетних недоумков.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.