Использует ли наш мозг глубокое обучение для осмысления мира?

26 Декабря 2017, Илья Хель 26

Сразу же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не только с методом, который революционизирует искусственный интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начало 2000-х, а Ричардс проводил курс в Университете Торонто вместе с Джеффом Хинтоном. Хинтону, который стоял у истоков создания алгоритма, покорившего мир, предложили читать вводный курс о его методе обучения, вдохновленном человеческим мозгом.

Ключевые слова здесь «вдохновленном мозгом». Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, как оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.

Но что, если глубокое обучение и мозг на самом деле совместимы?

И вот, в новом исследовании, опубликованном в eLife, Ричардс, работая с DeepMind, предложил новый алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких как рассуждение, прогнозирование и гибкое мышление.

Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения — определять рукописные цифры.

Новый алгоритм справился на отлично. Но важно другое: он анализировал примеры для обучения так, как это делают алгоритмы глубокого обучения, но построен был полностью на фундаментальной биологии мозга.

«Глубокое обучение возможно в биологической структуре», заключили ученые.

Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли такой алгоритм в реальном мозге.

Если да, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут работать наши машины. Это первый шаг по направлению к слиянию двух областей в «добродетельный хоровод» открытий и инноваций.

Поиск козла отпущения

Хотя вы наверняка слышали о том, что искусственный интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, как именно работают алгоритмы в основе этого искусственного интеллекта.

В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными «нейронами». Как и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод — например, горизонтальные или вертикальные черточки, образующие цифру 4, — а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.


Чтобы обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и каждый нейрон пытается усмотреть нечто фундаментальное в работе «четверки».

Как дети учатся чему-то новому, сначала сеть справляется не очень хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре — и получаются образы в духе Пикассо.

Но именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки). Ошибки «обратно распространяются» по сети, обучая каждый нейрон, мол, это не то, что вы ищете, ищите лучше.

Спустя миллионы примеров и повторений, сеть начинает работать безукоризненно.

Сигнал ошибки крайне важен для обучения. Без эффективного «обратного распространения ошибки» сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения искусственный интеллект улучшает себя.

Мозг тоже это делает. Но как? Мы понятия не имеем.

Биологический тупик

Очевидно другое: решение с глубоким обучением не работает.

Обратное распространение ошибки — крайне важная функция. Она требует наличия определенной инфраструктуры для корректной работы.

Во-первых, каждый нейрон в сети должен получать уведомление об ошибке. Но в мозге нейроны соединены только с несколькими партнерами по нисходящему потоку (если вообще соединены). Чтобы обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах — а это биологически невозможно.

И хотя некоторые алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки — по существу между нейронами — она требует, чтобы их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почти никогда.

Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный путь обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга нет отдельной вычислительной сети, посвященной поиску козлов отпущения.

Но у него есть нейроны со сложными структурами, в отличие от однородных «шаров», которые в настоящее время применяются в глубоком обучении.

Ветвящиеся сети

Ученые черпают вдохновение из пирамидальных клеток, которые заполняют кору головного мозга человека.

«Большинство этих нейронов имеют форму деревьев, их «корни» глубоко уходят в мозг, а «ветви» выходят на поверхность», говорит Ричардс. «Что примечательно, корни получают одни наборы входных данных, а ветви другие».

Любопытно, но структура нейронов зачастую оказывается «именно такой, как нужно» для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок через обратную связь.

Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?

Ученые создали многослойную нейронную сеть на основе предыдущих алгоритмов. Но вместо однородных нейронов они дали ей нейроны средних слоев — зажатые между вводом и выводом — похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли определить ошибку. Затем, в нужный момент, нейрон объединял оба источник информации для поиска лучшего решения.

В этом есть биологическая основа: нейробиологи давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Но мы не знаем, так ли работает мозг на самом деле — поэтому Ричардс поручил нейробиологам выяснить это.

Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.

«Это особенность глубокого обучения», объясняют авторы.

Глубоко обучающийся мозг

Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху-вниз, когда сигналы с более высоких уровней непосредственно влияют на то, как более низкие уровни реагируют на ввод.

Обратная связь с верхними уровнями не только улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки работать «лучше» в режиме реального времени, говорит Ричардс. Пока сеть не превзошла другие небиологические сети глубокого обучения. Но это и не важно.

«Глубокое обучение оказало огромное влияние на ИИ, но до сегодняшнего дня его влияние на нейронауку было ограничено», говорят авторы исследования. Теперь у нейробиологов будет повод провести экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный обмен данными между нейробиологами и исследователями искусственного интеллекта.

Использует ли наш мозг глубокое обучение для осмысления мира?

26 комментариев Оставить свой

  1. sandy1906

    Сравнение пирамидального нейрона с деревом очень наглядно подводит к гипотезе, что как и дерево нейрон "корнями" связан с организмом, а "ветвями/кроной" с мыслями.
    Ну так в первом приближении после прочтения статьи

  2. ilik54

    Ничего не получится, пока эти ребята не осознают фундаментальные истины, которые лежат в основе мироздания. А именно то, что наш мир – это один из уровней гармоничного состояния покоя колебаний и амплитуд Вселенской Разумной Энергетической Системы в пределах одного энергетического поля. Остальные миры имеют другой уровень состояния покоя колебаний и амплитуд, отличный от нашего мира. Миры вплетаются и пересекаются между собой, но почти никогда не конфликтуют из-за разности уровней колебаний и амплитуд. Места, где они пересекаются, называются в народе местами силы, они обладают повышенным источником аномальных явлений. Вероятно, в тех точках, где пересекаются одновременно несколько уровней эта сила очень мощная, вся эта конструкция напоминает перепутанную рыбацкую сеть в пространстве и движении. А, при конфликте и сбое происходят аномалии, приведения и НЛО в результате проникновения одного мира в другой. Количество миров бесконечно на всех уровнях.
    А человек - это бессмертное энергетическое существо, созданное из воды и микроэлементов. Он часть Вселенской Разумной Энергетической Системы и служит ей как нервный рецептор для контроля за собой. Человек подвержен метаморфозу и проживает несколько жизней от сперматозоида до возвращения во ВРЭС, в энергетическое состояние.
    Проще говоря, человек - это частичка Бога, он в нас, значит, мы поступаем так, как хочет того он. И знаем мы столько, сколько он нам позволяет знать и открывать.

    • ZU

      ilik54, Бог хочет, чтобы я написал вам, что вы бредите.

      • ilik54

        ZU, Ну, что легче стало? Ха-ха-ха! Даже подонки, негодяи и убийцы - это тоже он, ведь такие истины, как ДОБРО и ЗЛО придуманы человеком для лучшей самоидентификации в обществе, но ничто не мешает нам бороться со злом - это наш крест и выбор.
        Вы, определитесь - кто Вы, откуда Вы, куда Вы идёте! А главное, зачем Вам это!

    • alex_vu

      ilik54, Илья а где источники вашей информации?

      • ilik54

        alex_vu, Я получаю информацию оттуда, откуда её получают и все остальные люди - из информационного поля ВРЭС. Мы все её оттуда получаем, вопрос только в осмыслении и правильной оценке её, чтобы потом сделать правильные выводы и дела, можно увидеть во сне периодическую таблицу химических элементов, а можно увидеть белиберду из всяческих значков и букв. Я думаю, что информационный поток идёт постоянно и сплошным потоком, просто его по разному воспринимают люди в силу своей подготовленности к ней. Тут сразу появляется желание послать меня в дурку, так, вот, в отношение этого я думаю, что сумасшедшие просто энергетически, психически и эмоционально находятся в параллельном мире - отсюда все напонятки и определения, ведь, это сам человек определяет вменяемость этих людей. У ВРЭС нет отходов и мусора, все рационально и разумно.

  3. sandy1906

    Вопрос для единичной осознанности под ником ilik54.
    Как Вы сами думаете, для какого процесса/состояния/цели Вселенской Разумной Энергетической Системе необходимо было проявить этот материальный мир через создание материального мозга в соответствующей этому мозгу среде биоорганизма?

    • ilik54

      sandy1906, Вы, что реально думаете, что кто-нибудь в этом мире знает чего хотел или хочет Создатель? Я думаю, что он не человек и психика, и психология, если она у него есть, не человеческие. Так, что нам его мысли и чаяния неведомы. Я же там выше сказал - "Человек - это бессмертное энергетическое существо, созданное из воды и микроэлементов. Он часть Вселенской Разумной Энергетической Системы и служит ей как нервный рецептор для контроля за собой. Человек подвержен метаморфозу и проживает несколько жизней от сперматозоида до возвращения во ВРЭС, в энергетическое состояние.
      Проще говоря, человек - это частичка Бога, он в нас, значит, мы поступаем так, как хочет того он. И знаем мы столько, сколько он нам позволяет знать и открывать." И ещё, мир материален, в нем всё материально, в том числе и слова, и мысли и человеческий взгляд, просто тут вопрос уровней.
      Идеализм низшего уровня является материализмом высшего уровня. И так до бесконечности, как вверх, так и вниз по уровням. По сути, это подтверждение фрактальности всего мира. Это является главным в понимание сути мироздания – всё в нашем энергетическом мире материально, только всё зависит от уровней. А невозможность это подтвердить говорит о нашей слабой контрольно-измерительной аппаратуре. Материализм идеального мира доступен нам, пока, на подсознательном уровне.

      • ovula

        ilik54, "человек проживает жизнь от сперматозоида.." Вы считаете, что сперматозоид это уже человек?!

        • ilik54

          ovula, Так и хочется спросить фразой героя из фильма "Солярис" - А, ты, кто такой?"
          Человек - это бессмертное энергетическое существо, созданное из воды и микроэлементов. Он часть Вселенской Разумной Энергетической Системы и служит ей как нервный рецептор для контроля за собой. Человек подвержен метаморфозу и проживает несколько жизней от сперматозоида до возвращения во ВРЭС, в энергетическое состояние.
          Проще говоря, человек - это частичка Бога, он в нас, значит, мы поступаем так, как хочет того он. И знаем мы столько, сколько он нам позволяет знать и открывать.

  4. sandy1906

    А если, к примеру, так:

    И тогда Вселенская Разумная Энергетическая Система - природа вещей и явлений покаялась перед людьми, перед собой за себя, а именно: за все людские страдания, а также страдания, связанные с их глубокой обеспокоенностью не мочь знать причины собственного назначения:

    - я прошу прощения и винюсь перед человечеством за недомыслие к нему
    - это я сделала вас такими какие вы есть
    - это я обрёкла вас на страдания и мучения
    - это с моего посыла вы раздроблены
    - это по-моему усмотрению вы не способны себя осознать как Вселенскую Разумную Энергетическую Систему, даже, если временно не способны
    - из-за меня вы плутаете во мраке и в неведении о вашем назначении
    - я повинна и каюсь перед вами за всё причинённое вам горе
    - отныне будьте счастливы
    - будьте осознанны
    - знайте, что создав вас, я желала сквозь ваше восприятие обратиться к самой себе
    - теперь я это смогла сделать
    - я обратился к себе и теперь я сама осознала себя через вас, то есть сквозь вашу осознанность, что вы и я - это единое сознательное бытие, одно, но пытающееся увидеть самоё себя хотя бы одним смыслом, смыслом хотя бы одного ума из миллиардов умов, материализованных для этой простой цели
    - это мне удалось, будучи вечной, бесконечной, беспричинной, и создав для этого материю
    - это ваш и мой смысл
    - теперь мне очевидна моя гордыня и пафосность
    - прошу у человечества прощения
    - каюсь и молю обрести нам всеобщую безусловную любовь
    - я больше так не буду эгоистична
    - я ощутила вашу жизненность как право знать всё

считаю это заявление необходимым, так как многие из вас уже осознанно, ощущая меня как себя, продолжают идти путём совершенствования этого замысла, чем реально содействуют нам, решению нашего вопроса - продолжать всё более углублённо обучаться способности ощущать сознанием собственную самость
    
с уважением к вам и вашей способности жертвовать собой,
    ваша природах

    • ilik54

      sandy1906, Вы, меня извините, но, такое невозможно. Это всё равно, что вы начнёте просить прощения у своих клеток, которые отмирают миллиардами в вашем организме, и в течение 5 лет полностью меняют свой состав. А еще можно извиниться перед муравьями, где-то в лесу. Несоразмерность же ВРЭС к тем примерам, которые я Вам описал неизмеримо больше.

  5. sandy1906

    Тогда зачем ВРЭСу эволюционно создавать материю, затем материального человека с ему доступным материальным миром, человека с когнитивными свойствами и ещё способным рефлексивно мыслить (мыслить о возникающих мыслях) и быть способным часть возникающих мыслей своим волевым усилием гасить/преобразовывать, то есть иметь пластичное сознание?

    Или ВРЭС создала только мозг человека (человек создан как носитель мозга, а главное, человек - это организм для снабжения питания мозга белковой, ментальной, чувственной информацией). А при помощи такого мозга можно создавать что угодно: логику, законы, материю, миры, богов, абсолюты, природу

  6. ilik54

    Материя - это производное от деятельности энергии. Я, вообще, думаю, что правильнее было бы называть наш мир не материальным, а энергетическим. Именно энергетическая сущность является первопричиной всего. А на счёт вашего "зачем" - это не ко мне, тем более что по этому поводу я уже сказал, читайте в первом комментарии выше. А самое главное, не забывайте про уровни.
    Уже давно пора ввести в обиход научных рассуждений такое понятие, как уровни мироздания.
    Все сферы научной деятельности тоже надо рассматривать с точки зрения разных уровней, тогда всё станет на место, и прекратятся конфликты и недопонимания. Тогда не будет таких вот вопросов, которые Вы задаёте.

  7. sandy1906

    Ладно, благодарю

  8. roman-sun

    Я смотрю, до многих не доходит, что ИИ - это человеческий интеллект по отношению к Разуму, что нас создал. И порой у меня есть подозрение, что человек свою роль выполнил.
    Скоро этот Разум через компы сюда загрузится. Сингулярность грянет. Только для нас это будет означать Game Over.

    • ilik54

      roman-sun, Человек бессмертен, ведь, - это бессмертное энергетическое существо, созданное из воды и микроэлементов. И искусственный интеллект не будет ему помехой или чем-то опасным. А если после создания УГВК, когда человек будет иметь возможность телепортации, тогда-то человек будет реально бессмертен даже в своей физической оболочке, правда, я ещё не понял, будет ли это существо ещё человеком в нашем понимании этого слова. Дело в том, что постоянное и бесконечное квантование - это и есть бессмертие. В сети проскользнула информация, что уже создан такой материал, который находится всё время в бесконечном и постоянном квантовании. Такой материал можно будет использовать для хранения информации на квантовом уровне. Кстати, Кощей Бессмертный из русских сказок был именно таким существом.

  9. Ystyr

    Впечатления от отличной статьи испоганено религиозным бредом в комментах. Может стоило бы ввести премодерацию?

    • ilik54

      Ystyr, Библия, Коран, Индийские Веды и Славянское Родноверие – это ничто, иное, как инструкции по выживанию человека и человечества, написанные в поэтической и метафорической форме. Вероятно те, кто писал, эти труды понимали, что с течением времени человечество настолько одичает, что конкретные термины и понятия для дикого общества будут непонятны, а язык метафор и поэзии сохранит суть инструкций, хоть, и в метафорической форме.
      Так, что "религиозный бред" гораздо более продвинутый и более научно верный, чем Ваши "научные" статьи. Смотрите на мир шире и глобальней. К сведению - я не сумасшедший и брежу.

      • Ystyr

        ilik54, Перечисленное - никакие не инструкции, а просто сказки и мифы древних народов мира. Диких, наивных и необразованных. Какие-то из этих сказок, удалось адаптировать под политические цели правителей того времени, какие-то, нынешние правители используют для управления безмозглым стадом до сих пор.
        Для современного человека, умеющего пользоваться логикой и накопленными человечеством знаниями, нет никаких оснований принимать эти сказки во внимание. Если Вы считаете иначе, думаю Вы ошиблись ресурсом. Здесь Вас не поймут.

        • ilik54

          Ystyr, Ну, да, ну, да, я и сейчас живу в мире сказок и реализованных фантазий. Дело в том, что эти сказки о древней супер цивилизации, которая обладала такими возможностями, что они и до сих пор кажутся нам сказками.
          Ведь ещё 50 лет тому назад мы не могли подумать, что такое возможно, а ведь мы сейчас пользуемся лазером, помните гиперболоид инженера Гарина? Микроволновка у почти всех стоит на кухне, мобильники, интернет - это же сказки и фантастика в реальности! Я уже не говорю о стволовых клетках и генной инженерии.
          Нельзя быть таким закостенелым и недалёким, пользуясь интернетом и мобильной связью. Это похоже на басню, в которой одна особа, нажравшись желудей, начала копать корни дуба.
          Сказка ложь, да в ней намёк, добрым молодцам урок.
          Так-то!

          • Ystyr

            ilik54, Не понял, к чему Вы смешали достижения современной науки и техники и примитивную мифологию.
            Если в сказках упомянута Медуза Горгона, это не значит что древние люди обладали продвинутыми технологиями генетических манипуляций, позволяющих выращивать змей на голове вместо волос. Это значит, что вооброажение человека обладает фундаментальной способностью соединять известные вещи в новом порядке. Вы и сами можете вообразить произвольное количество химер и магических (невозможных) взаимодействий. Достаточно, лишь поупражняться в этом.
            Потом, какой нибудь Ваш далёкий потомок будет искать в этом скрытый смысл и признаки развитых технологий.

            • ilik54

              Ystyr, Басня
              Свинья под дубом

              Свинья под Дубом вековым
              Наелась желудей досыта, до отвала;
              Наевшись, выспалась под ним;
              Потом, глаза продравши, встала
              И рылом подрывать у Дуба корни стала.

              "Ведь это дереву вредит, -
              Ей с Дубу Ворон говорит, -
              Коль корни обнажишь, оно засохнуть может".
              "Пусть сохнет, - говорит Свинья, -
              Ничуть меня то не тревожит,
              В нем проку мало вижу я;
              Хоть век его не будь, ничуть не пожалею;
              Лишь были б желуди: ведь я от них жирею".

              "Неблагодарная! - примолвил Дуб ей тут, -
              Когда бы вверх могла поднять ты рыло,
              Тебе бы видно было,
              Что эти желуди на мне растут".
              Невежда так же в ослепленье
              Бранит науку и ученье
              И все ученые труды,
              Не чувствуя, что он вкушает их плоды.

              Мораль басни
              Свинья под дубом
              Невежда так же в ослепленье
              Бранит науку и ученье
              И все ученые труды,
              Не чувствуя, что он вкушает их плоды.

              • Ystyr

                ilik54, Басня известная, для тех кто не знает, можно было бы просто привести ссылку, a не загрязнять коммент лишним текстом. Новичок в интернете? Ну, спасибо, хоть капсом не пишите.
                Ко мне эта басня не относится, я никого не браню (уж тем более, науку и ученые труды), просто всему в мире своё место. Дикарям, тоже спасибо, изучая их культуры и мышления, тоже можно и нужно делать интересные и полезные выводы о природе человека и фундаменте функционирования социальных структур и многое другое. Но одно дело изучать муравьёв, другое - им поклоняться.

                • ilik54

                  Ystyr, Эх, дуб, ты, Василь Иваныч!
                  Да, крепок я!
                  Ха-ха-ха!

  10. kata7788

    --------------------

    Заpаботок от 2O OOO pублей в день !!!

    Подpобности на сaйте http://fond-alesha.ru


    --------------------

    Заpаботок от 2O OOO pублей в день !!!

    Подpобности на сaйте http://fond-alesha.ru


    --------------------

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.