Использует ли наш мозг глубокое обучение для осмысления мира?

Илья Хель

Сразу же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не только с методом, который революционизирует искусственный интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начало 2000-х, а Ричардс проводил курс в Университете Торонто вместе с Джеффом Хинтоном. Хинтону, который стоял у истоков создания алгоритма, покорившего мир, предложили читать вводный курс о его методе обучения, вдохновленном человеческим мозгом.

Использует ли наш мозг глубокое обучение для осмысления мира? Фото.

Ключевые слова здесь «вдохновленном мозгом». Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, как оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.

Но что, если глубокое обучение и мозг на самом деле совместимы?

И вот, в новом исследовании, опубликованном в eLife, Ричардс, работая с DeepMind, предложил новый алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких как рассуждение, прогнозирование и гибкое мышление.

Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения — определять рукописные цифры.

Новый алгоритм справился на отлично. Но важно другое: он анализировал примеры для обучения так, как это делают алгоритмы глубокого обучения, но построен был полностью на фундаментальной биологии мозга.

«Глубокое обучение возможно в биологической структуре», заключили ученые.

Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли такой алгоритм в реальном мозге.

Если да, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут работать наши машины. Это первый шаг по направлению к слиянию двух областей в «добродетельный хоровод» открытий и инноваций.

Поиск козла отпущения

Хотя вы наверняка слышали о том, что искусственный интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, как именно работают алгоритмы в основе этого искусственного интеллекта.

В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными «нейронами». Как и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод — например, горизонтальные или вертикальные черточки, образующие цифру 4, — а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.

Чтобы обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и каждый нейрон пытается усмотреть нечто фундаментальное в работе «четверки».

Как дети учатся чему-то новому, сначала сеть справляется не очень хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре — и получаются образы в духе Пикассо.

Но именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки). Ошибки «обратно распространяются» по сети, обучая каждый нейрон, мол, это не то, что вы ищете, ищите лучше.

Спустя миллионы примеров и повторений, сеть начинает работать безукоризненно.

Сигнал ошибки крайне важен для обучения. Без эффективного «обратного распространения ошибки» сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения искусственный интеллект улучшает себя.

Мозг тоже это делает. Но как? Мы понятия не имеем.

Биологический тупик

Очевидно другое: решение с глубоким обучением не работает.

Обратное распространение ошибки — крайне важная функция. Она требует наличия определенной инфраструктуры для корректной работы.

Во-первых, каждый нейрон в сети должен получать уведомление об ошибке. Но в мозге нейроны соединены только с несколькими партнерами по нисходящему потоку (если вообще соединены). Чтобы обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах — а это биологически невозможно.

И хотя некоторые алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки — по существу между нейронами — она требует, чтобы их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почти никогда.

Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный путь обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга нет отдельной вычислительной сети, посвященной поиску козлов отпущения.

Но у него есть нейроны со сложными структурами, в отличие от однородных «шаров», которые в настоящее время применяются в глубоком обучении.

Ветвящиеся сети

Ученые черпают вдохновение из пирамидальных клеток, которые заполняют кору головного мозга человека.

«Большинство этих нейронов имеют форму деревьев, их «корни» глубоко уходят в мозг, а «ветви» выходят на поверхность», говорит Ричардс. «Что примечательно, корни получают одни наборы входных данных, а ветви другие».

Любопытно, но структура нейронов зачастую оказывается «именно такой, как нужно» для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок через обратную связь.

Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?

Ученые создали многослойную нейронную сеть на основе предыдущих алгоритмов. Но вместо однородных нейронов они дали ей нейроны средних слоев — зажатые между вводом и выводом — похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли определить ошибку. Затем, в нужный момент, нейрон объединял оба источник информации для поиска лучшего решения.

В этом есть биологическая основа: нейробиологи давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Но мы не знаем, так ли работает мозг на самом деле — поэтому Ричардс поручил нейробиологам выяснить это.

Использует ли наш мозг глубокое обучение для осмысления мира? Ветвящиеся сети. Фото.

Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.

«Это особенность глубокого обучения», объясняют авторы.

Глубоко обучающийся мозг

Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху-вниз, когда сигналы с более высоких уровней непосредственно влияют на то, как более низкие уровни реагируют на ввод.

Обратная связь с верхними уровнями не только улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки работать «лучше» в режиме реального времени, говорит Ричардс. Пока сеть не превзошла другие небиологические сети глубокого обучения. Но это и не важно.

«Глубокое обучение оказало огромное влияние на ИИ, но до сегодняшнего дня его влияние на нейронауку было ограничено», говорят авторы исследования. Теперь у нейробиологов будет повод провести экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный обмен данными между нейробиологами и исследователями искусственного интеллекта.